Содержание 2
Введение 3
Глава 1. Условия исследований 6
1.1 Используемые технологии 6
1.1.1 TensorFlow 6
1.1.2 Keras 8
1.2 Архитектура нейронных сетей 9
1.2.1 Сети с долго краткосрочной памятью 9
1.3 Описание исследований 13
1.3.1 Исследование нейросети исправляющей ошибки в словах. 13
1.3.2 Исследование нейросети генерирующей текст 15
Глава 2. Анализ результатов исследований 18
2.1 Результаты работы сети исправляющей ошибки в словах 18
2.2 Результаты работы сети генерирующей текст 25
Заключение 28
Список используемой литературы
Актуальность дипломной работы заключается в следующем, за последние несколько лет человечество привыкло к помощи программ в написание текста и исправление ошибок. За это время браузеры научились исправлять ошибки в напечатанном тексте, клавиатуры для смартфонов умеют и исправлять ошибки и предлагать следующие слова в предложение, программы для редактирования текста научились исправлять орфографические и пунктуационные ошибки. Появилось большое количество онлайн ресурсов которые умеют генерировать большие тексты. Появились переводчики которые научились переводить не только слова в предложениях но и сохранять смысл переведенного предложения.
Многие из сервисов для обработки текста работают на алгоритмах которые используют словари. Например такие сервисы как Яндекс.Спеллер ОРФО Speller, ОРФО Grammar Checker, Spellah работаю с использование орфографических словарей. Для их работы программе требуется словарь, работа с которым замедляет весь сервис. Минусом такого подхода является большой объем данных необходимый для работы. С недавнего времени для обработки текста начали использовать искусственные нейронные сети. Искусственные нейронные сети это модель, построенная по принципу работы биологических нейронных сетей.[1]
Использование нейронных сетей для обработки текста значительно улучшает результаты по сравнению с результатами работы алгоритмов. Использование нейронных сетей позволяет отказаться от словарей и дополнительных данных.
Данная дипломная работа поможет в понимании принципов работы нейронных сетей с естественным языком. Того как они обучаются и от чего зависит успешность результата работы. В работе наглядно продемонстрировано
зависимость работы сети от обучения и языка.
Актуальность темы дипломной работы связана с успехом нейронных сетей в других областях и заключается в исследование возможностей использования нейросетей для работы с естественным языком.
Объект исследования
Объект исследования - нейронные сети
Предмет исследования
Предмет исследования: в дипломной работе будет рассказано о нейросетях которые обучались исправлять орфографические ошибки в словах и генерировать текст. Будет наглядно показаны результаты их работы с описанием. Также будет рассказано о том как обучались сети, как собиралась обучающая выборка и какие технологии для этого использовались. В работе будет продемонстрирована зависимость работы сети от её архитектуры.
Цель и задачи
Целью дипломной работы является анализ результатов исправления ошибок и генерирования текста нейронными сетями, и анализ закономерности изменения результатов работы с изменением архитектуры нейронной сети.
Задачи дипломной работы:
• Собрать обучающую выборку
• Собрать тестовую выборку
• Создать две нейронные сети с возможностью их дальнейшего расширения
• Обучить нейронные сети на обучающих выборках
• Собрать результаты работы сетей на тестовой выборке
Гипотеза
Создание данной дипломной работы позволяет показать возможности нейронных сетей в обработки естественного языка и наглядно продемонстрировать зависимость результатов работы сети от её архитектуры.
Методы исследования
В дипломной работе был проведен анализ нейронных сетей:
• Существующих
• Реализация
• Создание
Научная новизна и практическая значимость
Научная новизна проделанной работы состоит в сравнение результатов работы нейросетей при её расширении.
Практическая значимость заключается в демонстрации зависимости результатов работы нейросети от её расширении.
Описание структуры
Введение раскрывает актуальность, определяет степень научной разработки темы, объект, предмет, цель, задачи и методы исследования, раскрывает теоретическую и практическую значимость работы.
В первой главе рассматриваются технологии используемые в проекте, выбранная архитектура нейронной сети и условия при которых проводилось исследование.
Вторая глава посвящена анализу результатов исследований.
В заключении подводятся итоги исследования, формируются окончательные выводы по рассматриваемой теме.
Созданные сети для исправления ошибок и генерации текста показали хорошие результаты. В некоторых сетях обнаружены небольшие недочеты. Например такие как особенности английского языка и его влияние на нейронную сеть. Эти нюансы работы сетей было обнаружены уже после завершения их обучения и сбора результатов. Само выявление таких особенностей можно считать положительной частью исследования так как это дает возможность учитывать их при создание нейронных сетей в дальнейшем.
Из результатов исследований можно сделать следующие выводы:
1. Увеличение количества внутренних слоев не гарантирует улучшение работы сети. Это относится и к большому количеству нейронов в слое.
2. Прим маленьком количестве слоев или нейронов результаты работы плохие. Сеть не может запомнить всех данных из за чего веса нейронов не могут стабилизироваться.
3. При сборе обучающей выборки следует учитывать особенности языка. Например для английского языка следует больше внимания уделить качеству ошибок а не их количеству.
4. Для корректной работы сети требуется большая обучающая выборка. Собранные обучающие выборки из проекта достаточно малы. Например для сети исправляющей орфографические ошибки требуется выборка размером 150 000 базовых слов из которых будут собраны 1 500 000 слов с ошибками.
5. Для сети генерирующий текст следует подбирать обучающую выборки из современных источников. Например twitter, форумы и т д. При обучение
на книгах сеть начинает копировать стиль книги, хотя сгенерированные предложения могут не встречаться обучающей выборке.
Исследования показали как поэтапно улучшаются результаты работы сети. Можно увидеть как с добавлением нового слоя результаты работы улучшаются, как нейросеть начинает использовать знаки препинания, как она постепенно понимает как должно выглядеть слово. Посмотрев на общий результаты для каждой сети можно сделать вывод, что нейронные сети на основе сетей с долго краткосрочной памятью хорошо подходят для задач проверки правописания и генерации текста. Поскольку даже при достаточно небольших обучающих выборках они показали хорошие результаты работы.
