Введение
Постановка задачи
Обзор существующих решений
Глава 1. Описание работы системы. Основные проблемы и решения.... 8
Глава 2. Алгоритмы сбора обучающей коллекции и обработки
документов.
2.1. Поиск по алгоритму Бойера - Мура.
2.2. Скачивание документов.
2.3. Декодирование символов из UTF8 в CP1251 и обратно………22
2.4. Выделение предложений………………………………………...23
2.5. Лемматизация…………………………………………………….27
2.6. Сравнение строк с помощью хэш таблиц………………………27
2.7. Кодирование документов………………………………………..31
2.8. Управление коллекцией………………………………………….32
2.9. Настройки
Глава 3. Алгоритмы подсчёта частот и поиска аналогов документа. ... 36
3.1. Подсчёт частотного словаря пар слов.
3.2. Поиск документов аналогов.
Глава 4. Результаты
Глава 5. Выводы
Заключение
Список литературы
Приложение
В жизни современного человека всё большую ценность приобретает владение информацией. Обладая знаниями о чужих ошибках, человек может избежать аналогичных неудач. При наличии необходимой информации можно намного быстрее и, зачастую, эффективнее решать типичные задачи.
Благодаря всемирной сети Интернет, можно найти практически любые данные по интересующей теме. За годы своего существования человечество накопило огромное количество информации. Человеку не хватит всей жизни, чтобы освоить хотя бы тысячную долю всех доступных ему знаний. Данная ситуация не столь радужна, как кажется. Как правило, своевременно и оперативно получить необходимую информацию практически невозможно.
Это обусловлено большими объемами доступной в Интернете информации, не всегда корректно структурированной.
Для облегчения задачи разработаны специальные поисковые системы, к примеру, Яндекс или Google, которые могут по запросу из нескольких слов выводить ссылки на релевантные документы или web-сайты. Однако, результат зависит от корректности формулировки запроса. Периодически возникают ситуации, в которых по существующему документу необходимо получить дополнительную информацию, уточняющего или дополняющего характера. Но пользователю достаточно сложно правильно составить запрос для получения нужных ему документов. В рамках данной работы выдвигается гипотеза о возможности упрощения задачи корректной формулировки запроса с помощью автоматического составления списка слов для построения релевантного запроса.4
Постановка задачи.
Целью данной работы является разработка программного комплекса, позволяющего по исходному документу составить список слов, которые пользователь сможет использовать для поиска аналогов документа и нахождения необходимой ему информации.
Необходимо разработать программный продукт, обладающий следующими возможностями:
Автоматическая сборка обучающей коллекции документов из Интернет
Разделение текстов на предложения, очистка от HTML кода и всего что не является предложением (ссылки, списки таблицы и т. д.).
Лемматизация слов – приведение слов к так называемой нормальной форме: именительный падеж и единственное число для существительных, инфинитив для глаголов и т. д.
Составление нумерованного словаря и кодирование документов по нему
Подсчёт частоты встречи комбинаций пар слов в пределах предложения во всем наборе документов обучающей коллекции.
Составление списка слов исходного документа, расчёт их релевантности для использования в запросе к поисковой системе, сортировка в порядке снижающейся релевантности и их вывод,
вместе с данными позволяющими оценить полученные значения релевантности.
В ходе написания данной работы было рассмотрено применение данных о частоте встрече пар слов в предложении для поиска аналогов документа.
Были разработаны следующие модули программного комплекса:
1). Сбор коллекции путём скачивания документов по заданным темам.
2), Выделение предложений и очистка от HTML кода.
3). Лемматизация.
4). Кодирование документов и составление нумерованного словаря.
5). Составление частотного словаря встречи пар слов в предложении.
6) Применение частотного словаря для поиска аналогов документа.
Помимо этого были разработаны алгоритмы хранения данных хэш таблиц и собственная реализация алгоритма Бойера-Мура.
В дальнейшем планируется улучшить результаты исследования, а так же применить полученные данные частотного словаря для решения прикладных задач информационного поиска
