ВВЕДЕНИЕ 4
1. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ 6
1.1. Введение в нейронные сети 6
1.2. Математическая постановка задачи 8
1.3. Основные определения 9
1.4. Искусственные нейронные сети 9
1.5. Нейрон 10
1.6. Синапс 11
1.7. Функция активации 11
1.7.1. Ступенчатая функция 12
1.7.2. Линейная функция 12
1.7.3. Сигмоид 13
1.7.4. Гиперболический тангенс 14
1.7.5. Softmax 14
1.7.6. ReLU 15
1.8. Функция потерь 16
1.9. Рекуррентные нейронные сети 16
1.9.1. Полностью рекуррентная сеть 18
1.9.2. Проблема долгосрочных зависимостей 18
1.10. Сети LSTM 20
1.10.1. Слой утраты 22
1.10.2. Слой сохранения 23
1.10.3. Новое состояние 24
2. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ РЕКУРРЕНТНОЙ СЕТИ 26
2.1. Загрузка данных 26
2.2. Предобработка данных 27
2.3. Обработка данных 28
2.4. Построение модели 29
2.5. Компиляция модели 29
2.6. Обучение модели 30
2.7. Этап тестирования 30
3. РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ 32
3.1. Основные характеристики 32
3.2. Описание эксперимента 32
3.3. Исходный набор данных 33
3.4. Результаты экспериментов 33
ЗАКЛЮЧЕНИЕ 38
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 40
ПРИЛОЖЕНИЕ А. Программа для загрузки данных 42
ПРИЛОЖЕНИЕ Б. Программа для предобработки данных 44
ПРИЛОЖЕНИЕ В. Программа для создания и тестирования модели 46
Все чаще в современном мире ставятся вопросы влияния сетевых ресурсов на развитие личности человека. Данная проблема актуальна и очень многогранна, ведь социальные ресурсы несут в себе большое количество информации, как позитивной, так и негативной. К сожалению, никто не застрахован от негативного контентна, отрицательно влияющего на человека.
В России только в одной социальной сети «В контакте» насчитывается 73 миллиона активных пользователей в месяц [1]. Социальные сети дают пользователям возможность обмениваться информацией, общаться и создавать веб-контент.
В настоящее время нельзя недооценивать возможности ИИ. Его возможности возрастают благодаря использованию ИНС.
Искусственные нейронные сети (ИНС) - математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Первой такой попыткой были нейронные сети Маккалока и Питтса. После разработки алгоритмов обучения получаемые модели стали использовать в практических целях в задачах прогнозирования, для распознавания образов, в задачах управления и др.
ИНС - это система соединённых и взаимодействующих между собой простых искусственных нейронов (процессоров). Каждый нейрон сети периодически получает сигналы и периодически посылает другим процессорам. И тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи.
В работе предлагается использовать LSTM [2] сети, которые используются в задачах распознавания текста.
Целью данной работы является построение и реализация ИНС, которая будет распознавать негативный текст.
Задачи исследования:
- построить математическую модель нейронной сети;
- обучить модель;
- на тестовом наборе данных оценить работу модели;
- проанализировать результаты правильности работы программы на наборах данных.
В данной работе была изучена задача классификации текста с применением модели рекуррентной нейронной сети. Рассмотрена актуальная архитектура сетей LSTM.
Изучена проблема долгосрочных зависимостей РНС. Рассмотрена задача бинарной классификации текста при помощи модели нейронной сети. Также была реализована актуальная архитектура сетей LSTM, которая хорошо зарекомендовала себя в машинном обучении.
На основе сети проводится четкая классификация с дальнейшим обучением в рамках разработанной системы, которая обладает такими преимуществами, как высокая скорость обработки входных данных, стабильная работа при наличии ошибочных данных и высокая эффективность при решении задач классификации.
Результатами работы являются:
- моделирование и реализация LSTM сети, которая оценивает тональность текста на python под библиотеку TensorFlow 2;
- реализация python-скрипта (парсера) для сканирования и загрузки комментариев из социальной сети «Вконтакте», которые используются для тестирования модели;
- проведен эксперимент, который показывает большие перспективы в использовании искусственных нейронных сетей для распознавания негативного текста.
Можно с уверенность сказать, что данная архитектура нейронной сети может быть применена для решения поставленной задачи.
В процессе обучения нейронная сеть сама определяет, какие признаки в данных важны, а какие нет. Сеть может подобрать такое сложное сочетание признаков, до которого человек никогда бы не догадался. Поэтому с помощью глубоких нейронных сетей удается решать такие задачи, с которыми не справляются традиционные алгоритмы машинного обучения.
В целом, исследование показало, что ИНС в настоящее время являются наиболее эффективными и перспективными в задачах классификации, что подтверждается результатами исследования.
