📄Работа №49253
Тема: Формирование множество близких по содержанию документов на основе метода TF-IDF
Тип работы
Магистерская диссертация
Предмет
Математика
Объем:
43 листов
Год:
2018
Просмотров:
228
4870
руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание
Введение 3
Глава 1.Постановка задачи 4
Глава 2. Предварительные сведения метода TF-IDF 5
2.1. Пример формирования документов 5
2.2 Инвертированный индекс 8
2.3 Частота термина в документе 9
2.4 Обратная документная частота 10
2.5 Модель векторного пространства для ранжирования 12
2.5.1 Скалярное произведение 12
2.5.2 Запросы как векторы 17
2.6 Варианты функций tf-idf 22
2.6.1 Сублинейное масштабирование tf 22
2.6.2 Нормировка tfна максимальный/fв документе 23
2.6.3 Схемы взвешивания документов и запросов 24
2.6.4 Опорная нормировка длины документов 26
2.7 Сравнение инструментов определения близости документов цифровой библиотеки Czech-DML 30
Глава 3. Алгоритм построения модели TF-IDF на языке JavaScript 33
3.2 Исследование и построение решения задачи 33
3.3 Нормализация текста 33
3.4 Применение стеммера Портера 34
3.5 Расчет частоты терминов в полученном тексте 34
3.6 Вычисляем обратную зависимость частоты употребления термина(1й1) 34
3.7 Строим матрицу с полученными результатами 35
3.8 Вычисление косинусной меры сходства документов 36
Заключение 36
Список Литературы 37
Приложения 39
Приложение 1 39
Приложение 2 40
Приложение 3 41
Приложение 4 41
Приложение 5 42
Глава 1.Постановка задачи 4
Глава 2. Предварительные сведения метода TF-IDF 5
2.1. Пример формирования документов 5
2.2 Инвертированный индекс 8
2.3 Частота термина в документе 9
2.4 Обратная документная частота 10
2.5 Модель векторного пространства для ранжирования 12
2.5.1 Скалярное произведение 12
2.5.2 Запросы как векторы 17
2.6 Варианты функций tf-idf 22
2.6.1 Сублинейное масштабирование tf 22
2.6.2 Нормировка tfна максимальный/fв документе 23
2.6.3 Схемы взвешивания документов и запросов 24
2.6.4 Опорная нормировка длины документов 26
2.7 Сравнение инструментов определения близости документов цифровой библиотеки Czech-DML 30
Глава 3. Алгоритм построения модели TF-IDF на языке JavaScript 33
3.2 Исследование и построение решения задачи 33
3.3 Нормализация текста 33
3.4 Применение стеммера Портера 34
3.5 Расчет частоты терминов в полученном тексте 34
3.6 Вычисляем обратную зависимость частоты употребления термина(1й1) 34
3.7 Строим матрицу с полученными результатами 35
3.8 Вычисление косинусной меры сходства документов 36
Заключение 36
Список Литературы 37
Приложения 39
Приложение 1 39
Приложение 2 40
Приложение 3 41
Приложение 4 41
Приложение 5 42
📖 Введение
Целью данной работы является построить разработка сервиса поиска близких (по тематике исследований) документов в цифровых в математических коллекциях и апробировать в цифровой математической библиотеке LobachevskiiDML( Lobachevski ). Постановка задачи приведена в первой главе, в следующей главы даны необходимые сведения, а также примеры (с чешского сайта).
Приведен обзор методов поиска близких документов на основе алгоритма показы достоинства этого метода, в качестве примера сервиса поиска близких документов на основе алгоритма TF-IDF в главе 2проведен сравнительный анализ инструментов поиска близких статей, в частности рассмотрена работа сервисов представленных в цифровой библиотеке www.dml.cz. Этот алгоритм работает с коллекциями документов в формате “TeX” Этот анализ показал, что большинство этих инструментов работают только с «tex» форматов. Нашей же задачей является обработка коллекций содержащих документы различных форматов, в частности “TeX”, “pdf”, “docx”. В случаях если обработка документа является затруднительной, например документ представляет видеоконтент в нашем алгоритме предполагается использовать метаданные этого документа (ключевые слова, названия, метаданные).
Приведен обзор методов поиска близких документов на основе алгоритма показы достоинства этого метода, в качестве примера сервиса поиска близких документов на основе алгоритма TF-IDF в главе 2проведен сравнительный анализ инструментов поиска близких статей, в частности рассмотрена работа сервисов представленных в цифровой библиотеке www.dml.cz. Этот алгоритм работает с коллекциями документов в формате “TeX” Этот анализ показал, что большинство этих инструментов работают только с «tex» форматов. Нашей же задачей является обработка коллекций содержащих документы различных форматов, в частности “TeX”, “pdf”, “docx”. В случаях если обработка документа является затруднительной, например документ представляет видеоконтент в нашем алгоритме предполагается использовать метаданные этого документа (ключевые слова, названия, метаданные).
✅ Заключение
В данной дипломной работе была поставлена задача исследования и формирования разработки сервиса позволяющая нам сформировать список статьей близких по содержанию. В процессе решения были достигнуты следующие результаты:
1. Подробно исследован метод ТР-IDF (termfrequency,1пуегзебоситеп1Бгедиепсу)позволяющий ранжировать документы в цифровых коллекциях, состоящих из документов различных форматов.
2. Разработаны алгоритмы предварительной обработки текстов.
3. Выполнена реализация алгоритма на языке программирования JavaScript проведена необходимая адаптация в специфике цифровых коллекций.
4. Создан прототип сервиса, подтверждающий работоспособность данного метода.
1. Подробно исследован метод ТР-IDF (termfrequency,1пуегзебоситеп1Бгедиепсу)позволяющий ранжировать документы в цифровых коллекциях, состоящих из документов различных форматов.
2. Разработаны алгоритмы предварительной обработки текстов.
3. Выполнена реализация алгоритма на языке программирования JavaScript проведена необходимая адаптация в специфике цифровых коллекций.
4. Создан прототип сервиса, подтверждающий работоспособность данного метода.
ИЛИ
Поиск аналога
📕 Список литературы
🛒 Оформить заказ
⚡ Работу высылаем в течении 5 минут после оплаты.