Введение 3 стр.
ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ АСПЕКТЫ ИЗУЧЕНИЯ ИСКУСТТВЕННЫХ
НЕЙРОННЫХ СЕТЕЙ 7 стр.
1.1. Нейронные сети 7 стр.
1.1.1 Что такое нейронные сети? 7 стр.
1.1.2 Биологический нейрон 8 стр.
1.1.3 Искусственная нейронная сеть 9 стр.
1.1.4 Свойства искусственных нейронных сетей 10 стр.
1.1.5 Различные архитектуры искусственных нейронных сетей....12 стр.
1.2 Процесс обучения искусственных нейронных сетей 21стр.
1.2.1 Обучение с учителем 23 стр.
1.2.2 Обучение без учителя 24 стр.
1.2.3 Обучение, основанное на коррекции ошибок 25 стр.
1.2.4 Обучение Хебба 25 стр.
1.2.5 Конкурентное обучение 26 стр.
1.2.6 Обучение Больцмана 27 стр.
1.3 Выводы по главе 1 28 стр.
ГЛАВА 2. МЕТОДЫ РЕАЛИЗАЦИИ ИНФОРМАЦИОННО-ПОИСКОВОЙ СИСТЕМЫ 30 стр.
2.1 Ранжирование в процедурах поиска 32 стр.
2.2 Методы перевода слова в вектор фиксированной длины 34 стр.
2.2.1 Word2Vec 35 стр.
2.2.1.1 Continuous Bag of Word. One-word context 35 стр.
2.2.1.2 Multi-word context 38 стр.
2.2.1.3 Skip-gram 39 стр.
2.2.1.4 Negative Sampling 40 стр.
2.2.2 Glove (Global Vectors for Word Representation) 42 стр.
2.3 LSTM-сети. Поэтапное объяснение процессов 46 стр.
2.4 Выводы по главе 2 48 стр.
ГЛАВА 3. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ ИНТЕЛЛЕКТУАЛЬНОГО
ПОИСКА В ДОКУМЕНТАХ 50 стр.
3.1 Принцип работы прогграммы 50 стр.
3.2 Использованные библиотеки 54 стр
3.3 Выводы по главе 3 56 стр.
ЗАКЛЮЧЕНИЕ 58 стр.
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 60 стр.
ПРИЛОЖЕНИЕ 1
Актуальность проблемы. На сегодняшний день людям приходится ежедневно обрабатывать огромное количеств информации, будь то электронные письма, рабочая документация, отчёты и так далее, а возможности быстрой, эффективной и корректной обработки и интеллектуального поиска в этих документах, как таковое не осуществляется.
В связи с этим автоматизация информационного поиска стала необходимостью для обработки большого объёма текстов и поиска в них необходимого материала. Основной целью магистерской диссертации является построение интегрированной среды, ориентированной на разработку специализированных систем автоматизации поиска информации на основе запросов на ограниченном естественном языке с применением искусственных нейронных сетей. Особенностью таких систем является возможность самообучения искусственных нейронных сетей в результате взаимодействия с пользователем. Кроме этого предполагается построение демонстрационного примера с целью обоснования достоверности и работоспособности предлагаемых в работе средств и методов. Для программной реализации планируется использование MS SQL.
Что же такое искусственные нейронные сети (ИНС) и в чём их преимущества? Впервые понятие «искусственная нейросеть» была введена в 1940-ых годах, после чего и начала активно развиваться параллельно с компьютерами Фон - Неймановской архитектуры, однако из-за ограниченных возможностей того времени нейросети ушли на второй план, а в конце 1950-ых годов и вовсе перестали развиваться и ушли в забвение на двадцать лет. Но с развитием компьютерных технологий и открытием новых возможностей в 1980-ых годах вновь возродился интерес к нейрокомпьютерам.
На сегодняшний день нейронные сети не так хорошо развиты, как хотелось
бы оптимистам данного направления развития, так как ИНС сейчас на стадии
развития, пожалуй, мозга таракана, однако даже это уже намного опережает компьютеры Фон - Неймановской архитектуры и даже параллельные вычислительные системы, так как нейроны связанные между собой могут одновременно решать n-ное количество задач. Ещё одним большим плюсом ИНС является их самообучаемость. Они могут сами корректировать данные таким образом, что в следующий раз при решении такой же задачи будет дан верный ответ. Вообще говоря, есть несколько методов обучения искусственной нейронной сети, такие как:
• обучение с учителем;
• обучение без учителя;
• Метод Хэбба;
• обучение методом соревнования;
• правило коррекции по ошибке;
• генетические алгоритмы;
Таким образом, даже самая плохо обученная нейросеть сможет решать задачи лучше, нежели обычные автоматизированные системы, а со временем путём обучения сможет решать задачи в десятки раз сложнее, когда автоматизированная система, скорее всего, останется на том же уровне, либо для усовершенствования постоянно будет исправляться человеком, что будет занимать огромное количество времени.
Обеспечение же более точных ответов лежит на пути создания интеллектуальных поисковых систем. Создание универсальных интеллектуальных систем в настоящее время относится к разряду трудно-разрешимых и возможно неразрешимых проблем. Для решения этой проблемы необходимо ограничивать условия поиска ориентацией на определенную предметную область. Именно на основе упомянутого выше подхода планируется создание специализированной системы информационного поиска в слабо - структурированных информационных массивах на основе использования искусственных нейронных сетей. В идеале предусматривается эффективное структурирование таких массивов с получением на выходе соответствующего SQL представления. Причем получение SQL представления предусматривается как для информационного запроса, так и для информационных массивов, в которых производится поиск.
Кроме этого в процессе поиска могут возникнуть проблемы, которые перечисляются ниже.
Во-первых, проблема заключается в том, что пользователь не может корректно написать запрос, в связи с чем очень часто получает неверный результат, либо ему приходится постоянно менять формулировку, пока не получит верного ответа. Во-вторых, поисковые системы часто ищут информацию по заголовкам или просто по терминам в тексте, не понимая смысловой нагрузки и не понимая, действительно ли, подходит данный текст этому запросу, а ИНС смогут фильтровать эти данные путём обучения. В-третьих, ранжировать даже найденную информацию не всегда получается верно, так как чаще всего они распределяются либо по принципу «какой документ найден раньше», либо с учётом присвоенной ему переменной (на примере булевой модели информационного поиска).
Объект исследования: сфера интеллектуального поиска текстовой информации.
Предмет исследования: искусственные нейронные сети, методы их обучения для быстрого выбора и сортировки документов.
Цель магистерской диссертации - исследование методов обучения нейронных сетей, процесса поиска и упорядочивания найденных результатов по критериям соответствия запросу, а так же реализация поисковой модели на основе ИНС.
Для достижения поставленной цели в работе сформулированы и решены следующие задачи.
1. Анализ работы нейронных сетей.
2. Анализ существующих методов обучения искусственных нейронных сетей.
3. Исследование теоретических основ метода оптимального ранжирования найденных документов, на основе нейросетевых решений задач целочисленного программирования.
4. Исследование различных архитектур ИНС.
5. Построение поисковой модели на основе искусственных нейронных сетей.
Объем и структура работы. Магистерская диссертация состоит из введения, трёх глав, заключения, списка использованной литературы и приложения в виде листинга. Объем основного текста составляет 77 страниц машинописного текста.
В первой главе проведен краткий анализ предметной области - построение нейронной сети, связь биологического и искусственного нейрона. Рассмотрены основные свойства нейрона, различные архитектуры нейронных сетей, а так же методы их обучения.
Во второй главе рассматриваются методы информационного поиска и ранжирования в процедурах поиска, методы перевода слов в вектор и принцип работы LSTM-сетей, которые используются в программной реализации.
В третьей главе дано описание программы, использованных библиотек и результаты экспериментов.
Каждая глава заканчивается краткими выводами, а вся работа - заключением.
В работе рассмотрены теоретические и практические вопросы решения задач ранжирования найденных ссылок в ИПС. Разработаны: программа основанная на рекурентных нейронных сетях. Также, в диссертации, для оценивания эффективности поиска необходимой информации проведены эксперименты и показаны результаты.
В результате проведенной работы получены следующие результаты:
1. Проведен анализ существующих информационно-поисковых систем и проблем интеллектуального поиска текстовой информации, связанных с необходимостью решения дискретных задач оптимизации. Анализ показал, что на сегодняшний день нейронная сеть не применяется в информационно- поисковых систем для решения задач оптимального представления найденных документов.
2. Проведён анализ существующих методов обучения искусственных нейронных сетей. По результатам исследования было выявлено, что наилучшие результаты дают методы обучения с учителем, в связи с этим именно этот метод был применён в программе.
3. Проведено исследование теоретических основ метода оптимального ранжирования найденных документов, на основе нейросетевых решений задач целочисленного программирования.
4. Проведён анализ различных архитектур ИНС. С каждым днём нейронные сети всё более развиваются, не смотря на то, что считаются, что все они уникальны, большинство из них схожи по своему строению. В зависимости от доработок в нейронной сети, некоторые из них более результативно использовать для распознавания текста, другие же для распознавания текста, либо для поиска информации.
5. Реализована программа поиска информации в документах на основе LSTM-сети, с использованием метода перевода слов в вектор word2vec.
Разработанная программа позволяет значительно повысить оперативность и достоверность информационно-поисковых процедур. Их реализация применительно к решению задач поиска в документах различной структуры.
Программное обеспечение, разработанное в рамках диссертационной работы, нашло свое применение в ряде инженерных проектов, ориентированных на решение задач информационно-справочного обеспечения.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
