При решении поставленной задачи, а именно автоматизации поиска тематически близких документов с применением метода неотрицательной
матричной факторизации (NMF) с использованием расходимости Кульбака-Лейблера, был проведен анализ исследуемой области, в результате
чего был разработан алгоритм решения поставленной задачи и создан
пакет программ на языке Java для кластеризации цифровой коллекции
КФУ и поиска в ней схожих по теме статей. Приведенный ниже код готов к использованию для кластеризации не только рассматриваемой, но
и других коллекций документов, что позволяет другим исследователям
использовать данный продукт для обработки собственных коллекций.
Для пробы было взято 200 статей из коллекции КФУ и они были
разбиты на 10 кластеров. В результате были сгенерированы две матрицы W и H, в которых строки матрицы W соответствуют терминам из
словаря, а в столбцах указаны вероятности принадлежности терминов к
кластерам. Матрица H, в свою очередь, соотносит столбцы с документами, а в строках содержатся вероятности принадлежности документов
к кластерам. Вероятность принадлежности одному кластеру оказалась
выше у близких друг к другу документов. Таким образом было показано,
что метод неотрицательной матричной факторизации с использованием
расходимости Кульбака-Лейблера в качестве меры близости можно достаточно эффективно использовать для кластеризации текстов.
Можно отметить несколько направлений для улучшения работы программы:
1) Оптимизация используемой памяти. На данный момент программа может работать лишь с небольшими коллекциями из-за ограничения
объема оперативной памяти, в которой хранятся «мешки слов». Для оптимизации памяти можно задействовать базу данных.
2) Ускорение времени работы программы с помощью распараллеливания. Для создания «мешков слов» всех документов коллекции и вычис-
16ления каждого элемента матриц W и H (внутри итерационного метода)
можно использовать параллельные вычисления.
3) Доработка алгоритма в сторону выбора более оптимального начального приближения матриц W и H. Для этого можно использовать
другие, более быстрые алгоритмы кластеризации, что позволит уменьшить количество итераций.
4) Оценка качества кластеризации при использовании разных тематических словарей. Несмотря на то, что, как уже было отмечено ранее,
анализ полученных результатов оценить трудно из-за отсутствия эталона, можно провести ряд тестов, используя разные словари, и провести
оценку

Купить