1 Введение
2 Постановка задачи 7
3 Обзор предметной" области 8
3.1 Вопросно-ответные системы 8
3.2 Виды вопросно-ответных систем 9
3.2.1 Вопросно-ответные системы, использующие веб-поиск 10
3.2.2 Вопросно-ответные системы с коллекцией
вопросов и ответов 11
3.2.3 Вопросно-ответные системы с коллекцией
индексированных документов 12
3.2.4 Экспертные вопросно-ответные системы 13
3.3 Критерии оценки качества работы вопросно-ответной системы 15
3.4 Этапы вопросно-ответного поиска 16
3.4.1 Обработка вопроса 16
3.4.2 Поиск вопроса 19
3.4.3 Извлечение вопроса 19
3.5 Вывод 22
4 Исследование и построение решения задачи 24
4.1 Обработка вопроса 25
4.2 Поиск вопроса 27
4.3 Извлечение вопроса 28
4.3.1 Выявление кандидатов ответа 28
4.3.2 Ранжирование кандидатов ответа
4.4 Анализ результатов 31
4.5 Выводы 33
5 Описание практической части 35
6 Заключение 38
7 Список литературы 39
Объем информации во всем мире стремительно растет. И перед людьми все более остро встает проблема быстрого поиска ответа на интересующих их вопрос. Использование популярных поисковых систем упрощает эту задачу, однако от пользователя все еще требуется самостоятельный анализ полученных результатов. Одним из решений данной проблемы можно считать антропоморфные социальные агенты (интерфейсы, по своему облику похожие на человека), обладающие вопросно-ответной системой. Они позволяют ускорить процесс поиска ответа, самостоятельно анализируя информацию из различных источников, выдавая лишь конечный корректный результат.
Разработка антропоморфного социального агента - это крупный проект, который состоит из кросс-дисциплинарных трудоемких задач. Вот лишь некоторые из частей разработки человеко-машинного интерфейса:
распознавание человеческой речи, анализ человеческой речи, симуляция речи человека, симуляция мимики, движений человека, симуляция психоэмоциональных состояний и реакций, рассуждения на основе здравого смысла, поддержание контекста, диалоговый режим [1].
В данной работе будет разработана модуль вопросно-ответной системы антропоморфного социального агента. Это далеко нетривиальная задача, поскольку система должна уметь проводить анализ структуры вопросительного предложения, учитывая особенности конкретного языка, на котором задан вопрос. Также непростой задачей является извлечение ответа из неструктурированного текста. Кроме того, для получения корректного ответа на вопрос необходимо определиться с источником знаний, с помощью которого разработанная система будет производить поиск ответа.
Научная новизна исследуемой проблемы.
Исследования в области вопросно-ответных систем идут уже продолжительное время. Каждый год создаются новые продукты, a уже существующие системы совершенствуют свое качество.
Успешным примером такой системы можно считать разработку компании Apple - Siri, разработанную под мобильную операционную систему iOS. Siri - это персональный помощник и вопросно-ответная система, которая способна не только отвечать на вопросы пользователей, но и писать сообщения, давать рекомендации, показывать ближайшие кафе и многое другое. Активно развивают направление вопросно-ответных систем и другие крупные мировые IT-компании. Например, суперкомпьютер Watson от компания IBM показывает весьма хорошие показатели в обработке вопроса и формировании ответов на естественной языке. Свой продукт в этой области есть и у компании Google. Google Now - сервис персонализированного поиска, используется приложением Google Search. Вопросно-ответная система WolframAlpha разработанная одноименной компанией, способна давать ответы по множеству предметных областей. Из российских систем хотелось бы отметить голосовой помощник Алиса от компании Яндекс, использующую их собственную разработку SpeechKit. Алиса включает в себя распознавание и синтез речи, выделение смысловых объектов, ответы на вопросы м другие функции.
К сожалению, большинство систем работают только с английским языком. Но в последнее время направление вопросно-ответных систем активно развивается и для других языков [2]. Однако качество работы таких систем значительно ниже.
Из вышеизложенного можно сделать вывод, что область разработки вопросно-ответных систем на русском языке - это перспективное для исследования направление. И это определило научную новизну работы.
Практическая значимость
Практическая значимость данной работы заключается в создании модуля вопросно-ответной системы для проекта антропоморфного социального агента. Система реализована на языке программирования Python, с помощью методов обработки и анализа текстов на естественном языке.
В рамках данной работы была исследована предметная область, рассмотрены различные методы обработки естественного языка. А также были решены следующие поставленные задачи:
1. Проведен анализ существующих современных вопросно-ответных систем;
2. Определены критерии оценки качества вопросно-ответных систем для антропоморфного социального агента;
3. Разработана структура вопросно-ответной системы;
4. Реализована спроектированная вопросно-ответная система;
5. Проведен анализ полученных результатов.
