Оглавление 1
Перечень условных обозначений, символов, единиц, сокращений и
терминов 3
Введение 5
Глава 1 7
1.2 Постановка требований 9
1.3 Обзор программных систем существующих на рынке 9
Глава 2 11
2.1 Проектирование архитектуры 11
2.2 Формат сообщений 12
2.3 Формат общения между модулями 12
2.4 Организация работы 12
2.5 Выбор технологии 13
Глава 3. Реализация 15
3.1 Реализация поискового робота 15
3.1.1 Организация проекта 15
3.1.2 Использование JRuby 15
3.1.3 MainCrawler 15
3.1.4 ThreadCrawlBody 17
3.1.5 HtmlParser 17
3.1.6 StorageManager 18
3.1.7 Производительность 19
3.1.8 Механика сбора интернет страниц 21
3.2 Реализация полнотекстового поиска 21
3.2.1 Организация проекта 21
3.2.2 Операция MapReduce 22
3.2.3 Полнотекстовый поиск средствами MongoDB 23
3.2.4 Изучение способов улучшение производительности 24
3.2.5 Интеграция найденного решения с MongoDB 24
3.3 Реализация ранжирующей системы 25
3.3.1 Исследование и организация архитектуры ранжирования 25
3.3.2 Learner 30
3.3.3 RankSVM 32
3.4 Реализация сервера 33
3.4.1 Организация проекта 33
3.4.2 Реализация 36
3.4.3 SearcnEngineSystem 36
3.4.4 Coincidence 37
3.4.5 Структура 38
Выводы 39
Заключение 40
Список использованных литературных источников 42
Приложения 43
Листинг 43
Поисковый робот 43
Скрипт подключение поисковой системы Sphinx к MongoDB 50
Модуль сервер и ранжирующая система
Купить

Поиск документов является одной из важных задач в сфере IT. Об этом говорит постоянное развитие поисковых систем: ведутся работы над улучшением алгоритмов, персонализацией поисковой выдачи и пр. В отличие от поиска по базе данных, где результатом являются записи, удовлетворяющие некоторому условию, поиск в поисковой системе накладывает дополнительные требования к выдаче результата. Ранжирование - процесс сортировки документов по качеству информаций в них. Раньше для решения проблемы ранжирования использовались различные количественные оценки документа: частота слов, удовлетворяющих запросу, обратная частота и пр. Но с ростом числа документов такие способы решения проблем стали неэффективны. Все чаще для ранжирования и персонализации выдачи используются различные алгоритмы машинного обучения и нейронные сети. В таких системах документ представляет из себя объект с некоторыми атрибутами и их весами. В процессе выдачи производятся операции над коллекцией таких документов. Результатом служит коллекция, где все документы будут отсортированы по релевантности.
Актуальность и практическая значимость дипломной работы заключается в том, что изучение влияния искусственных нейронных сетей на результаты ранжирования позволит понять, насколько качественно можно изменить процесс выдачи релевантных данных и насколько данная обработка является необходимой.
Цель данной дипломной работы - построить качественную модель документа, исследовать методы машинного обучения и нейронных сетей и применить их на задаче ранжирования в информационно-поисковой системе.
Объектом исследования в данной работе является система информационно-поисковой выдачи.
Для разработки программного средства необходимо решить следующие задачи:
• Провести анализ предметной области.
• Изучить аналоги программного средства.
• Разработать архитектуру программного обеспечения.
• Изучить и реализовать алгоритмы программного средства.
Для выполнения поставленной цели необходимо выполнить следующие этапы работы:
• Исследовать процесс ранжирования и персонализации поисковой выдачи в поисковых системах.
• Собрать большую коллекцию документов для ранжирования.
• Обеспечить быструю выдачу документов, удовлетворяющих запросу пользователя.
• Построить модель документа и реализовать алгоритм машинного обучения применительно к задачам ранжирования.
• Разработать архитектуру собственной поисковой системы, использующей реализованный алгоритм обучения.
• Выбрать необходимые технологии и средства для решения поставленных целей.
• Организовать рабочий процесс для решения поставленных задач.

Купить