СОЗДАНИЕ РУССКОЯЗЫЧНОГО ЧАТ-БОТА ДЛЯ ЧАСТИЧНОЙ РЕАЛИЗАЦИИ КОГНИТИВНО-ПОВЕДЕНЧЕСКОЙ ТЕРАПИИ
|
Список сокращений и терминов 4
ВВЕДЕНИЕ 5
Глава I 9
1.1 Чат-боты как диалоговые системы 9
1.2 Приложение Woebot 12
1.3 Приложение Wysa 14
1.4 Основные компоненты чат-бота 17
1.5 Современные подходы для построения чат-ботов 19
1.6 Архитектура диалоговых систем 25
1.7 Применение нейронных сетей для решения задач обработки
естественного языка 27
1.7.1 Векторное представление слов 27
1.7.2 Рекуррентные нейронные сети 29
Выводы по первой главе 30
Глава II 33
2.1 Использование Dialogflow для создания чат-бота 33
2.1.1 Создание интентов 33
2.1.2 Создание сущностей 37
2.1.3 Интеграция в веб-демо и Telegram 39
2.2 Миграция в RASA 41
2.2.1 Установка RASA и создание проекта 43
2.2.2 Пайплайн NLP 44
2.2.3 Обучение модели классификации интентов и ее результаты .... 47
Выводы по второй главе 50
ЗАКЛЮЧЕНИЕ 52
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 55
ПРИЛОЖЕНИЕ 1 60
ПРИЛОЖЕНИЕ 2 61
ПРИЛОЖЕНИЕ 3 62
ВВЕДЕНИЕ 5
Глава I 9
1.1 Чат-боты как диалоговые системы 9
1.2 Приложение Woebot 12
1.3 Приложение Wysa 14
1.4 Основные компоненты чат-бота 17
1.5 Современные подходы для построения чат-ботов 19
1.6 Архитектура диалоговых систем 25
1.7 Применение нейронных сетей для решения задач обработки
естественного языка 27
1.7.1 Векторное представление слов 27
1.7.2 Рекуррентные нейронные сети 29
Выводы по первой главе 30
Глава II 33
2.1 Использование Dialogflow для создания чат-бота 33
2.1.1 Создание интентов 33
2.1.2 Создание сущностей 37
2.1.3 Интеграция в веб-демо и Telegram 39
2.2 Миграция в RASA 41
2.2.1 Установка RASA и создание проекта 43
2.2.2 Пайплайн NLP 44
2.2.3 Обучение модели классификации интентов и ее результаты .... 47
Выводы по второй главе 50
ЗАКЛЮЧЕНИЕ 52
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 55
ПРИЛОЖЕНИЕ 1 60
ПРИЛОЖЕНИЕ 2 61
ПРИЛОЖЕНИЕ 3 62
Важность поддержания психического здоровья была признана во всем мире, однако число специалистов, предлагающих такие услуги, выросло незначительно, в связи с чем возможность проходить консультации на регулярной основе появилась не у всех. Согласно статистике Ipsos, 59% опрошенных из России отметили, что никогда не посещали ни психолога, ни психотерапевта. Общий уровень удовлетворенности полученными услугами в больничных учреждениях оказался невысоким. В качестве одной из причин респонденты отметили долгий период ожидания для записи к специалисту. Использование чат-ботов может помочь снизить уровень этой неудовлетворенности, поскольку машины могут проводить консультации круглосуточно и без отдыха и доступны всем, у кого есть компьютер или смартфон.
Одним из самых популярных приложений для поддержания психического здоровья стал Woebot, разработанный в лаборатории Стэнфордского университета. Woebot использует методы когнитивноповеденческой психотерапии, чтобы помочь пользователям бороться, в первую очередь, с тревожностью, паническими атаками и депрессией. Было замечено, что пациенты, страдающие этими заболеваниями, склонны искажать действительность, что часто становится источником болезненных ощущений. Метод КПТ позволяет при необходимости корректировать неосознанные умозаключения пациента. Количество скачиваний мобильного приложения Woebot уже превышает 100 000 и непрерывно растет. В русскоязычном сегменте интернета приложений чат-ботов, предлагающих услуги психотерапии, нет.
Целью работы является разработка прототипа русскоязычного чат-бота для психотерапевтических целей. Для достижения данной цели были поставлены следующие задачи:
1. Изучить функционал существующих приложений чат-ботов в области психотерапии и психологии;
2. Изучить компоненты чат-ботов и определить концепт виртуального агента;
3. Исследовать архитектуру диалоговых систем и возможные
архитектуры искусственных нейронных сетей для функционирования в диалоговой системе ;
4. Создать основные интенты и сущности, характеризующие работу психотерапевтического чат-бота с помощью Dialogflow;
5. Изучить возможности интегрирования чат-бота на существующие платформы.
Объектом исследования является диалоговая система.
Предметом исследования - русскоязычный чат-бот с ограниченными функциями когнитивно-поведенческой терапии.
В данном исследовании использованы следующие методы:
• методы машинного обучения,
• методы обработки естественного языка,
• метод коммуникативного моделирования
• анализ источников и литературы для создания чат-бот систем.
Теоретическую основу составляют такие работы в области компьютерной лингвистики и машинного обучения, как диалоговые системы и извлечение информации (Журафски Д., «Speech and Language Processing»), векторное представление слов (Миколов и др., «Distributed Representations of Words and Phrases and their Compositionality»), исследования эффективности использования разговорных ассистентов при депрессии (Kathleen Kara Fitzpatrick, Alison Darcy, Molly Vierhile «Delivering Cognitive Behavior Therapy to Young Adults With Symptoms of Depression and Anxiety Using a Fully Automated Conversational Agent (Woebot): A Randomized Controlled Trial», Inkster B, Sarda S, Subramanian V. «An Empathy-Driven, Conversational Artificial Intelligence Agent (Wysa) for Digital Mental Well-Being: Real-World Data Evaluation Mixed-Methods Study»).
Новизна данной работы заключается в создании русскоязычного чат- бота, который частично выполняет функции психотерапевта. В качестве материала использовались диалоги и техники, описанные в Р. Лихи «Техники когнитивной психотерапии».
Практическая значимость данной работы заключается в создании первого чат-бота для борьбы с симптомами депрессии, тревожности, страха на русском языке, который выполняет частичную функцию психотерапии, предоставляя информацию о некоторых техниках КПТ. Тестовая версия чат- бота уже доступна для пользователей мессенджера Telegram.
Структура работы обусловлена логикой поставленных задач. Исследование включает в себя список терминов и сокращений, введение, две главы, заключение и приложения.
Во введении обоснованы актуальность выбранной проблемы, научная новизна, теоретическая и практическая значимость работы.
В первой главе рассмотрены первые диалоговые системы в области психологии, в частности ELIZA и Parry, существующие приложения на английском языке Woebot и Wysa, описаны компоненты и подходы для построения чат-ботов.
Во второй главе описывается наше решение с использованием платформы Dialogflow, интеграция чат-бота в веб и Telegram с примерами диалогов; рассмотрена миграция чат-бота на фреймворк Rasa Open Source и обучение различных моделей, классификации интентов, в частности.
В заключении подводятся краткие итоги нашего исследования, каким путем была достигнута цель.
В приложении 1 продемонстрирован список когнитивных искажений из Р. Лихи «Техники когнитивной психотерапии».
В приложении 2 приведена таблица, с использованными техниками КПТ.
В приложении 3 приведены примеры диалогов.
Одним из самых популярных приложений для поддержания психического здоровья стал Woebot, разработанный в лаборатории Стэнфордского университета. Woebot использует методы когнитивноповеденческой психотерапии, чтобы помочь пользователям бороться, в первую очередь, с тревожностью, паническими атаками и депрессией. Было замечено, что пациенты, страдающие этими заболеваниями, склонны искажать действительность, что часто становится источником болезненных ощущений. Метод КПТ позволяет при необходимости корректировать неосознанные умозаключения пациента. Количество скачиваний мобильного приложения Woebot уже превышает 100 000 и непрерывно растет. В русскоязычном сегменте интернета приложений чат-ботов, предлагающих услуги психотерапии, нет.
Целью работы является разработка прототипа русскоязычного чат-бота для психотерапевтических целей. Для достижения данной цели были поставлены следующие задачи:
1. Изучить функционал существующих приложений чат-ботов в области психотерапии и психологии;
2. Изучить компоненты чат-ботов и определить концепт виртуального агента;
3. Исследовать архитектуру диалоговых систем и возможные
архитектуры искусственных нейронных сетей для функционирования в диалоговой системе ;
4. Создать основные интенты и сущности, характеризующие работу психотерапевтического чат-бота с помощью Dialogflow;
5. Изучить возможности интегрирования чат-бота на существующие платформы.
Объектом исследования является диалоговая система.
Предметом исследования - русскоязычный чат-бот с ограниченными функциями когнитивно-поведенческой терапии.
В данном исследовании использованы следующие методы:
• методы машинного обучения,
• методы обработки естественного языка,
• метод коммуникативного моделирования
• анализ источников и литературы для создания чат-бот систем.
Теоретическую основу составляют такие работы в области компьютерной лингвистики и машинного обучения, как диалоговые системы и извлечение информации (Журафски Д., «Speech and Language Processing»), векторное представление слов (Миколов и др., «Distributed Representations of Words and Phrases and their Compositionality»), исследования эффективности использования разговорных ассистентов при депрессии (Kathleen Kara Fitzpatrick, Alison Darcy, Molly Vierhile «Delivering Cognitive Behavior Therapy to Young Adults With Symptoms of Depression and Anxiety Using a Fully Automated Conversational Agent (Woebot): A Randomized Controlled Trial», Inkster B, Sarda S, Subramanian V. «An Empathy-Driven, Conversational Artificial Intelligence Agent (Wysa) for Digital Mental Well-Being: Real-World Data Evaluation Mixed-Methods Study»).
Новизна данной работы заключается в создании русскоязычного чат- бота, который частично выполняет функции психотерапевта. В качестве материала использовались диалоги и техники, описанные в Р. Лихи «Техники когнитивной психотерапии».
Практическая значимость данной работы заключается в создании первого чат-бота для борьбы с симптомами депрессии, тревожности, страха на русском языке, который выполняет частичную функцию психотерапии, предоставляя информацию о некоторых техниках КПТ. Тестовая версия чат- бота уже доступна для пользователей мессенджера Telegram.
Структура работы обусловлена логикой поставленных задач. Исследование включает в себя список терминов и сокращений, введение, две главы, заключение и приложения.
Во введении обоснованы актуальность выбранной проблемы, научная новизна, теоретическая и практическая значимость работы.
В первой главе рассмотрены первые диалоговые системы в области психологии, в частности ELIZA и Parry, существующие приложения на английском языке Woebot и Wysa, описаны компоненты и подходы для построения чат-ботов.
Во второй главе описывается наше решение с использованием платформы Dialogflow, интеграция чат-бота в веб и Telegram с примерами диалогов; рассмотрена миграция чат-бота на фреймворк Rasa Open Source и обучение различных моделей, классификации интентов, в частности.
В заключении подводятся краткие итоги нашего исследования, каким путем была достигнута цель.
В приложении 1 продемонстрирован список когнитивных искажений из Р. Лихи «Техники когнитивной психотерапии».
В приложении 2 приведена таблица, с использованными техниками КПТ.
В приложении 3 приведены примеры диалогов.
Использование чат-ботов способно помочь снизить уровень неудовлетворенности услугами больничных учреждений, поскольку машины могут проводить консультации круглосуточно и без отдыха и доступны всем, у кого есть компьютер или смартфон. Как было отмечено во введении, большой процент респондентов из России заявляет о том, что ни разу не консультировался ни у психолога, ни у психотерапевта, между тем многие чувствуют симптомы депрессии. В то время как в русскоязычном сегменте интернета приложений чат-ботов, предлагающих услуги психотерапии, нет.
В данном исследовании была предпринята попытка создания русскоязычного чат-бота для частичной реализации когнитивноповеденческой терапии. Диалоговый агент был построен и интегрирован в кроссплатформенный мессенджер для обмена сообщениями, Telegram. Решение является неполноценным и требует дальнейшей работы.
В ходе достижения поставленной цели были рассмотрены первые программы чат-боты в области психологии и психотерапии: ELIZA и Parry, основанные на правилах, которые в свое время успешно прошли тест Тьюринга; значимые примеры использования чат-ботов для поддержания психического здоровья на сегодняшний день: англоязычные Woebot и Wysa. Woebot существует на двух платформах: тестовая версия на веб-сайте и основная в виде мобильного приложения; Wysa же только в качестве мобильного приложения, однако с поддержкой многих других языков за исключением русского. Были изучены основные компоненты и подходы для создания чат-бот систем. Кратко была рассмотрена архитектура диалоговых систем, которая состоит из различных модулей, самыми фундаментальными из которых являются модуль понимания естественного языка и диалоговый менеджер. Диалоговый менеджер контролирует структуру в целом, а также является связующим звеном между модулями понимания естественного языка и генерации ответа.
Во второй главе описано то, как нами был разработан концепт чат-бота, который будет помогать людям, страдающим от легких форм депрессии и тревожности (не диагностированная специалистом или диагностированная самостоятельно). Предварительного исследования по описанию типичного портрета пользователя не было, поэтому ориентация на группу людей от 18 до 30 лет как в исследовании «Delivering Cognitive Behavior Therapy to Young Adults With Symptoms of Depression and Anxiety Using a Fully Automated Conversational Agent (Woebot): A Randomized Controlled Trial». В перспективе целевую аудиторию можно сузить и специфицировать с помощью анализа портрета пользователей.
Было успешно создано 24 интента (не включая ветвления) и 11 сущностей с помощью платформы Dialogflow, которая предоставляет простой интерфейс для работы. Также созданный чат-бот был протестирован в веб- демо и интегрирован в Telegram.
Поскольку работу над проектом планируется продолжать дальше, в планы входит внедрение большего количества техник КПТ для каждого из расстройств (депрессия, тревожность, одиночество и прокрастинация). Разработка была перенесена с платформы Dialogflow в Rasa из-за возможности выбора языковых моделей и их оптимизации, а также хранение данных пользователей.
Две модели классификации интентов были обучены с помощью пайплайнов Rasa nlu и получены результаты точности 0.61 и 0.63. Результаты не высокие и модели требуют оптимизации. Как было отмечено в выводах по второй главе, использование предобученных векторных представлений для русского языка гипотетически могло бы повысить результаты качества работы модели, однако более целесообразным будет обучение модели на больших данных, что не удовлетворяет нынешнему состоянию данных. Также изменение гиперпараметров внутри моделей является возможной опцией для оптимизации. Данные и другие варианты оптимизации будут учтены и апробированы по окончанию создания более полноценного списка интентов и сущностей.
В данном исследовании была предпринята попытка создания русскоязычного чат-бота для частичной реализации когнитивноповеденческой терапии. Диалоговый агент был построен и интегрирован в кроссплатформенный мессенджер для обмена сообщениями, Telegram. Решение является неполноценным и требует дальнейшей работы.
В ходе достижения поставленной цели были рассмотрены первые программы чат-боты в области психологии и психотерапии: ELIZA и Parry, основанные на правилах, которые в свое время успешно прошли тест Тьюринга; значимые примеры использования чат-ботов для поддержания психического здоровья на сегодняшний день: англоязычные Woebot и Wysa. Woebot существует на двух платформах: тестовая версия на веб-сайте и основная в виде мобильного приложения; Wysa же только в качестве мобильного приложения, однако с поддержкой многих других языков за исключением русского. Были изучены основные компоненты и подходы для создания чат-бот систем. Кратко была рассмотрена архитектура диалоговых систем, которая состоит из различных модулей, самыми фундаментальными из которых являются модуль понимания естественного языка и диалоговый менеджер. Диалоговый менеджер контролирует структуру в целом, а также является связующим звеном между модулями понимания естественного языка и генерации ответа.
Во второй главе описано то, как нами был разработан концепт чат-бота, который будет помогать людям, страдающим от легких форм депрессии и тревожности (не диагностированная специалистом или диагностированная самостоятельно). Предварительного исследования по описанию типичного портрета пользователя не было, поэтому ориентация на группу людей от 18 до 30 лет как в исследовании «Delivering Cognitive Behavior Therapy to Young Adults With Symptoms of Depression and Anxiety Using a Fully Automated Conversational Agent (Woebot): A Randomized Controlled Trial». В перспективе целевую аудиторию можно сузить и специфицировать с помощью анализа портрета пользователей.
Было успешно создано 24 интента (не включая ветвления) и 11 сущностей с помощью платформы Dialogflow, которая предоставляет простой интерфейс для работы. Также созданный чат-бот был протестирован в веб- демо и интегрирован в Telegram.
Поскольку работу над проектом планируется продолжать дальше, в планы входит внедрение большего количества техник КПТ для каждого из расстройств (депрессия, тревожность, одиночество и прокрастинация). Разработка была перенесена с платформы Dialogflow в Rasa из-за возможности выбора языковых моделей и их оптимизации, а также хранение данных пользователей.
Две модели классификации интентов были обучены с помощью пайплайнов Rasa nlu и получены результаты точности 0.61 и 0.63. Результаты не высокие и модели требуют оптимизации. Как было отмечено в выводах по второй главе, использование предобученных векторных представлений для русского языка гипотетически могло бы повысить результаты качества работы модели, однако более целесообразным будет обучение модели на больших данных, что не удовлетворяет нынешнему состоянию данных. Также изменение гиперпараметров внутри моделей является возможной опцией для оптимизации. Данные и другие варианты оптимизации будут учтены и апробированы по окончанию создания более полноценного списка интентов и сущностей.
