📄Работа №138230
Тема: Разработка программного продукта для поиска аналогов документа с помощью поисковой системы Яндекс
Характеристики работы
Тип работы
Дипломные работы, ВКР
Предмет
Программирование
Объем:
157 листов
Год:
2016
Просмотров:
87
4355
руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание
Введение
Постановка задачи
Обзор существующих решений
Глава 1. Описание работы системы. Основные проблемы и решения.... 8
Глава 2. Алгоритмы сбора обучающей коллекции и обработки
документов
2.1. Поиск по алгоритму Бойера - Мура
2.2. Скачивание документов.
2.3. Декодирование символов из UTF8 в CP1251 и обратно………22
2.4. Выделение предложений………………………………………...23
2.5. Лемматизация…………………………………………………….27
2.6. Сравнение строк с помощью хэш таблиц………………………27
2.7. Кодирование документов………………………………………..31
2.8. Управление коллекцией………………………………………….32
2.9. Настройки
Глава 3. Алгоритмы подсчёта частот и поиска аналогов документа. ... 36
3.1. Подсчёт частотного словаря пар слов.
3.2. Поиск документов аналогов.
Глава 4. Результаты
Глава 5. Выводы
Заключение
Список литературы
Приложение ..
Постановка задачи
Обзор существующих решений
Глава 1. Описание работы системы. Основные проблемы и решения.... 8
Глава 2. Алгоритмы сбора обучающей коллекции и обработки
документов
2.1. Поиск по алгоритму Бойера - Мура
2.2. Скачивание документов.
2.3. Декодирование символов из UTF8 в CP1251 и обратно………22
2.4. Выделение предложений………………………………………...23
2.5. Лемматизация…………………………………………………….27
2.6. Сравнение строк с помощью хэш таблиц………………………27
2.7. Кодирование документов………………………………………..31
2.8. Управление коллекцией………………………………………….32
2.9. Настройки
Глава 3. Алгоритмы подсчёта частот и поиска аналогов документа. ... 36
3.1. Подсчёт частотного словаря пар слов.
3.2. Поиск документов аналогов.
Глава 4. Результаты
Глава 5. Выводы
Заключение
Список литературы
Приложение ..
📖 Аннотация
Работа посвящена разработке программного комплекса для автоматического формирования поисковых запросов с целью нахождения аналогов заданного документа через систему Яндекс. Актуальность исследования обусловлена проблемой эффективного информационного поиска в условиях переизбытка неструктурированных данных, когда пользователю сложно корректно сформулировать запрос для получения релевантных документов, схожих по содержанию с имеющимся образцом. Методология основана на анализе частоты совместной встречаемости пар слов в пределах предложений внутри обучающей коллекции текстов. В результате был создан программный продукт, включающий модули автоматического сбора веб-документов по заданным темам, их очистки от HTML-разметки, лемматизации слов, составления нумерованного и частотного словарей, а также алгоритм, формирующий на основе этих данных список наиболее релевантных ключевых слов из исходного документа. Для реализации были применены и адаптированы алгоритмы хэширования и алгоритм Бойера-Мура. Практическая значимость заключается в возможности использования данного комплекса исследователями, аналитиками и специалистами по работе с информацией для автоматизации и повышения точности поиска семантически близких текстовых материалов. Обзор литературы включает исследования в области автоматического поиска похожих документов, латентно-семантического анализа и методов обработки естественного языка. Разработанное решение позволяет существенно упростить процесс составления эффективных поисковых запросов и может быть интегрировано в задачи информационного поиска и анализа текстовых данных.
📖 Введение
В жизни современного человека всё большую ценность приобретает
владение информацией. Обладая знаниями о чужих ошибках, человек может
избежать аналогичных неудач. При наличии необходимой информации
можно намного быстрее и, зачастую, эффективнее решать типичные задачи.
Благодаря всемирной сети Интернет, можно найти практически любые
данные по интересующей теме. За годы своего существования человечество
накопило огромное количество информации. Человеку не хватит всей жизни,
чтобы освоить хотя бы тысячную долю всех доступных ему знаний. Данная
ситуация не столь радужна, как кажется. Как правило, своевременно и
оперативно получить необходимую информацию практически невозможно.
Это обусловлено большими объемами доступной в Интернете информации,
не всегда корректно структурированной.
Для облегчения задачи разработаны специальные поисковые системы,
к примеру, Яндекс или Google, которые могут по запросу из нескольких слов
выводить ссылки на релевантные документы или web-сайты. Однако,
результат зависит от корректности формулировки запроса. Периодически
возникают ситуации, в которых по существующему документу необходимо
получить дополнительную информацию, уточняющего или дополняющего
характера. Но пользователю достаточно сложно правильно составить запрос
для получения нужных ему документов. В рамках данной работы
выдвигается гипотеза о возможности упрощения задачи корректной
формулировки запроса с помощью автоматического составления списка слов
для построения релевантного запроса.4
Постановка задачи.
Целью данной работы является разработка программного комплекса,
позволяющего по исходному документу составить список слов, которые
пользователь сможет использовать для поиска аналогов документа и
нахождения необходимой ему информации.
Необходимо разработать программный продукт, обладающий
следующими возможностями:
Автоматическая сборка обучающей коллекции документов из Интернет
Разделение текстов на предложения, очистка от HTML кода и
всего что не является предложением (ссылки, списки таблицы и т. д.).
Лемматизация слов – приведение слов к так называемой
нормальной форме: именительный падеж и единственное число
для существительных, инфинитив для глаголов и т. д.
Составление нумерованного словаря и кодирование документов по нему
Подсчёт частоты встречи комбинаций пар слов в пределах
предложения во всем наборе документов обучающей коллекции.
Составление списка слов исходного документа, рассчёт их
релевантности для использования в запросе к поисковой системе,
сортировка в порядке снижающейся релевантности и их вывод,
вместе с данными позволяющими оценить полученные значения релевантности.
владение информацией. Обладая знаниями о чужих ошибках, человек может
избежать аналогичных неудач. При наличии необходимой информации
можно намного быстрее и, зачастую, эффективнее решать типичные задачи.
Благодаря всемирной сети Интернет, можно найти практически любые
данные по интересующей теме. За годы своего существования человечество
накопило огромное количество информации. Человеку не хватит всей жизни,
чтобы освоить хотя бы тысячную долю всех доступных ему знаний. Данная
ситуация не столь радужна, как кажется. Как правило, своевременно и
оперативно получить необходимую информацию практически невозможно.
Это обусловлено большими объемами доступной в Интернете информации,
не всегда корректно структурированной.
Для облегчения задачи разработаны специальные поисковые системы,
к примеру, Яндекс или Google, которые могут по запросу из нескольких слов
выводить ссылки на релевантные документы или web-сайты. Однако,
результат зависит от корректности формулировки запроса. Периодически
возникают ситуации, в которых по существующему документу необходимо
получить дополнительную информацию, уточняющего или дополняющего
характера. Но пользователю достаточно сложно правильно составить запрос
для получения нужных ему документов. В рамках данной работы
выдвигается гипотеза о возможности упрощения задачи корректной
формулировки запроса с помощью автоматического составления списка слов
для построения релевантного запроса.4
Постановка задачи.
Целью данной работы является разработка программного комплекса,
позволяющего по исходному документу составить список слов, которые
пользователь сможет использовать для поиска аналогов документа и
нахождения необходимой ему информации.
Необходимо разработать программный продукт, обладающий
следующими возможностями:
Автоматическая сборка обучающей коллекции документов из Интернет
Разделение текстов на предложения, очистка от HTML кода и
всего что не является предложением (ссылки, списки таблицы и т. д.).
Лемматизация слов – приведение слов к так называемой
нормальной форме: именительный падеж и единственное число
для существительных, инфинитив для глаголов и т. д.
Составление нумерованного словаря и кодирование документов по нему
Подсчёт частоты встречи комбинаций пар слов в пределах
предложения во всем наборе документов обучающей коллекции.
Составление списка слов исходного документа, рассчёт их
релевантности для использования в запросе к поисковой системе,
сортировка в порядке снижающейся релевантности и их вывод,
вместе с данными позволяющими оценить полученные значения релевантности.
✅ Заключение
В ходе написания данной работы было рассмотрено применение
данных о частоте встрече пар слов в предложении для поиска аналогов документа.
Были разработаны следующие модули программного комплекса:
1). Сбор коллекции путём скачивания документов по заданным темам.
2), Выделение предложений и очистка от HTML кода.
3). Лемматизация.
4). Кодирование документов и составление нумерованного словаря.
5). Составление частотного словаря встречи пар слов в предложении.
6) Применение частотного словаря для поиска аналогов документа.
Помимо этого были разработаны алгоритмы хранения данных хэш
таблиц и собственная реализация алгоритма Бойера-Мура.
В дальнейшем планируется улучшить результаты исследования, а так
же применить полученные данные частотного словаря для решения
прикладных задач информационного поиска
данных о частоте встрече пар слов в предложении для поиска аналогов документа.
Были разработаны следующие модули программного комплекса:
1). Сбор коллекции путём скачивания документов по заданным темам.
2), Выделение предложений и очистка от HTML кода.
3). Лемматизация.
4). Кодирование документов и составление нумерованного словаря.
5). Составление частотного словаря встречи пар слов в предложении.
6) Применение частотного словаря для поиска аналогов документа.
Помимо этого были разработаны алгоритмы хранения данных хэш
таблиц и собственная реализация алгоритма Бойера-Мура.
В дальнейшем планируется улучшить результаты исследования, а так
же применить полученные данные частотного словаря для решения
прикладных задач информационного поиска
ИЛИ
Поиск аналога
📕 Список литературы
🛒 Оформить заказ
⚡ Работу высылаем в течении 5 минут после оплаты.