Тема: Распределенный анализ и обработка содержимого документов для юридической фирмы

Задача обработки текстовой информации изложенных естественным языком в целом трудоемка, но очень перспективна как задача машинного обучения. Обработка текстовой информации, содержащейся в сотнях и тысячах документах, необходима для анализа данных, выявления тональности текста, определения точных данных содержащихся в тексте. Предполагается, что любой изложенный на естественном языке текст в документе состоит не просто из набора выражений или слов, а из некоторых тематических абзацев, которые раскрываются написанными словами [1, 2, 3].
Представив набор текстов как матрицу встречаемости слов в документах, можно искать интересующие темы с помощью методов разложения пространства матрицы. Для решения подобных задач существует большое множество различных алгоритмов и методов оптимизации, в частности тематическая модель вероятностного семантического анализа или модифицированный метод градиентного спуска. Но большинство методов из-за своей итерационной природы имеют схожие проблемы, как например остановка в локальных оптимумах и зависимость от начального приближения. Задача выявления скрытых тем предполагает участие человека для оценки качества модели по списку наиболее часто встречаемых слов в теме. На практике обученные модели часто сложны для интерпретации человеком из-за того, что некоторые темы непонятны, состоят из слишком большого числа общеупотребимых слов, имеют в себе слова из совершенно разных областей.
Одной из модификацией методов является поиск матриц с определённой структурой. Этого можно добиться, добавляя в задачу ограничения разреженности или декорреляции или более жёстких требований однозначного соответствия между темами и небольшим набором слов, что модифицирует оптимизируемый функционал и позволяет избежать локальных оптимумов с нежелательными значениями параметров. С другой стороны, добиться лучшего решения можно с помощью выбора хорошего начального приближения, избежав попадания в неудачную область параметров.
Целью данной работы является анализ и обработка содержимого документов для юридической фирмы. Этого можно достичь, применяя машинное обучение. В документообороте любой крупной юридической фирмы требуется определить тематику, тональность, содержание и достоверность изложенных текстов в подписанных документах. Для это необходимо привлекать большое количество юридически грамотных специалистов, что влечет финансовые траты фирме. Уменьшить эти затраты возможно с помощью обучения вычислительных моделей, которые будут анализировать и обрабатывать содержимое документов.

Купить

В выпускной квалификационной работе были рассмотрены следующие задачи:
- системный анализ поставленной задачи;
- разработка модуля обработки и анализа;
- реализация предложенного метода обработки.
Синтаксический разбор и распределенные представления слов - это основные этапы для многих задач обработки естественного человеческого языка. Как видно, существует множество методов и алгоритмов позволяющих осуществлять обработку текстов документов, с целью понимания их содержания и определения смысловой нагрузки обученным программным обеспечением.
Для осуществления поставленной задачи применим алгоритм CBC и метод синтаксического разложения.
Использование распределенной кластерной структуры реализованной в библиотеках Akka и Akka2 для языка программирования Scala позволяет реализовать систему по обработке и анализу данных текстовых документов для нужд юридической фирмы.
Рассмотренный способ построения рабочих структур, для решения задач распределенной обработки данных, с применением менеджера BalancingDispatcher, может быть развернут на разных узлах системы. Но это не единственная методика реализации. Она может быть скорректирована.
Использование алгоритмов сингулярного разложения матриц (алгоритм SVD) документов и алгоритма кластеризации по комитетам (CBC), и развертывание этих алгоритмов на рассмотренных в главе 2 программных распределенных "работниках", позволяет реализовать способ обработки и анализа текстов цифровых документов.

Купить