ВВЕДЕНИЕ 4
1. ЭМОЦИОНАЛЬНЫЙ ПРОЦЕСС ВНУТРИ ВЫЧИСЛИТЕЛЬНОГО
АГЕНТА 6
1.1 Роль эмоций у искусственного интеллекта 6
1.2 Эмоциональные вычисления 7
1.3 Эмоциональная оценка и ее связь с обучением 9
2. ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ КАК СПОСОБ ЭМОЦИОНАЛЬНОЙ
ОЦЕНКИ 11
2.1 Принятие решений и обучение с подкреплением 11
2.2 Общая постановка задачи обучения с подкреплением 12
2.2.1 Значение оценочной обратной связи 12
2.2.2 Постановка задачи 14
2.3 Обзор методов решения задачи 16
2.4 Метод временной разницы (TD-Метод) 17
2.5 Выбор нейрональной архитектуры обучения с подкреплением 19
3. РЕАЛИЗАЦИЯ СИСТЕМЫ ЭМОЦИОНАЛЬНОЙ ОЦЕНКИ НА ОСНОВЕ
ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ 21
3.1 Нейросимулятор NEST 21
3.2 Составление нейрональной модели 22
3.3 Реализация модели 23
3.4 Тестирование модели с различными данными 27
3.5 Результаты 28
ЗАКЛЮЧЕНИЕ 31
СПИСОК ЛИТЕРАТУРЫ 33
ПРИЛОЖЕНИЕ А Куб эмоций Лёвхейма 38
ПРИЛОЖЕНИЕ Б Некоторые части естественного мозга 39
В последние годы все большее количество людей привлекает такая область науки, как искусственный интеллект. Это утверждение доказывает множество примеров: AI2, CaptionBot, Jia-Jia, AlphaGo, Siri и т.д., - роботы, созданные с различными целями.
Существует гипотеза, что искусственный интеллект многое упускает, не реализуя эмоциональные процессы. [1] Роль эмоций у человека довольно велика. Например, они влияют на принятие решений и поведение. [2] Помимо этого, стоит отметить, что эмоции нужны для решения задач, включающих в себя социальное взаимодействие. Воспроизведение эмоций необходимо для создания роботов, которые могут помогать человеку в его повседневной жизни. [3]
Ученые полагают, что теории возникновения и воспроизведения эмоций в естественном мозге могут оказать влияние на развитие роботов, обладающих эмоциями. [4]
Говоря об эмоциях, следует обратить внимание на процесс эмоционального оценки. Эмоции - филогенетический непрерывный механизм, гибко адаптирующийся к любым стимулам и ответам. [5] Гибкость эмоций получается путем отделения поведенческой реакции от события -стимула. Эмоциональный процесс - это оценка события по его значимости для индивида и предположение (прогнозирование) возможных действий, направленных на изменение отношений между человеком и окружающей средой. [6]
Основная проблема состоит в том, что современные вычислительные системы не могут испытывать эмоции, что в итоге приводит к их нежизнеспособности в условиях реального мира.
Объектом дипломной работы является эмоциональная оценка у искусственного интеллекта. В основе системы будет лежать процесс эмоциональной оценки у естественного интеллекта.
Актуальность темы подтверждается американским ученым Марвином Минским (1927 - 2016), одним из основателей Лаборатории искусственного интеллекта в Массачусетском технологическом университете. В своей книге "The emotion machine"он говорит о значимости эмоционального процесса для создания мыслящего искусственного интеллекта. [7]
В качестве системы для реализации эмоциональной оценки была выбрана система обучения с подкреплением. Это объясняется тем, что в настоящее время практически все методы прогнозирования у роботов полагаются на обучение с подкреплением. [8]
Цель дипломной работы заключается в разработке системы эмоциональной оценки на основе обучения с подкреплением. Эта система - один из этапов создания эмоционального искусственного интеллекта.
Для достижения данной цели необходимо решить ряд задач:
• изучить процесс эмоциональной оценки;
• изучить процесс обучения с подкреплением;
• проанализировать существующие описанные модели процесса обучения с подкреплением, выбрать наиболее подходящую под наши цели;
• составить нейрональную модель;
• реализовать модель эмоциональной оценки с использованием нейросимулятора "NEST";
• протестировать полученную модель с различными параметрами и проанализировать полученные результаты
О создании эмоционального искусственного интеллекта ученые начали говорить еще в середине XX века, но направление «Эмоциональные вычисления» оформилось лишь в конце 90-х годов, когда профессор Массачусетского технологического института Розалинд Пикард выпустила книгу с одноименным названием. [49]
Развитие науки привело к попыткам создания роботов, обладающих эмоциями. Существуют разные подходы к этой задаче. Научно-исследовательская лаборатория «Машинное понимание» Высшей школы ИТИС Казанского Федерального Университета поставила перед собой цель построить машинное сознание, опираясь на нейробиологически инспирированные подходы. Была предложена когнитивная архитектура NEUCOGAR и поставлена задача реализовать ее.
Цель данной работы - создание системы эмоциональной оценки на основе обучения с подкреплением - этап в разработке эмоционального искусственного интеллекта. Эмоциональная оценка неразрывно связана с прогнозированием, которое, в свою очередь, связано с обучением.
В результате анализа литературы и различных исследований была составлена и реализована нейрональная модель. В результате симуляции данной модели были получены графики, показывающие активность структур мозга, участвующих в процессе их воздействия друг на друга. Так как воздействие не может быть однозначным, а каждая связь обладает синаптической силой, то такую силу, называемую весом, нужно настроить. В ходе настройки системы мы добились четырех вспышек активности на таламусе вместо ожидаемых пяти. Это происходит из-за подавления бледного шара (interna) и черной субстанции (reticulata) и восстановления потенциала таламуса.
Создание искусственного интеллекта на основе биологически инспирированных подходах приведет к возможности создания эмоциональных машин. Эмоциональная основа позволит роботам познавать, накапливать опыт и выживать в условиях реального мира.
