Помощь студентам в учебе
Автоматизированное извлечение реплик, свидетельствующих об отрицательной оценке собеседника, из человеко-машинных диалогов различной тематики
|
Введение 3
Раздел 1: История вопроса 9
Раздел 2: Сбор материала 15
Постановка проблемы 15
Чатбот pBot 17
Чатбот Маришко 18
Инфы 18
Форум инфов 20
Инф Кармен 22
Инф Aplgallery 22
Инф Alisa_fpml 23
Сравнение источников 23
Первичная обработка материала 25
Раздел 3: Создание признакового пространства 27
Постановка проблемы 27
Автоматический метод: doc2vec 28
Контролируемый метод 36
Гибридный метод 44
Раздел 4: Классификация 48
Постановка проблемы 48
Обзор существующих решений 50
Создание и обучение моделей 52
Подготовка выборки 52
Выбранные методы 53
Autoencoder 53
One-Class Support Vector Machine 54
Elliptic Envelope 55
Local Outlier Factor 56
Isolation Forest 56
Сводная таблица методов 57
Применение лучших моделей ко всему корпусу 58
Раздел 5: Выводы 59
Приложение 1 61
Приложение 2
Раздел 1: История вопроса 9
Раздел 2: Сбор материала 15
Постановка проблемы 15
Чатбот pBot 17
Чатбот Маришко 18
Инфы 18
Форум инфов 20
Инф Кармен 22
Инф Aplgallery 22
Инф Alisa_fpml 23
Сравнение источников 23
Первичная обработка материала 25
Раздел 3: Создание признакового пространства 27
Постановка проблемы 27
Автоматический метод: doc2vec 28
Контролируемый метод 36
Гибридный метод 44
Раздел 4: Классификация 48
Постановка проблемы 48
Обзор существующих решений 50
Создание и обучение моделей 52
Подготовка выборки 52
Выбранные методы 53
Autoencoder 53
One-Class Support Vector Machine 54
Elliptic Envelope 55
Local Outlier Factor 56
Isolation Forest 56
Сводная таблица методов 57
Применение лучших моделей ко всему корпусу 58
Раздел 5: Выводы 59
Приложение 1 61
Приложение 2
Системы, обеспечивающие общение человека с компьютером на естественном языке, в последние годы приобрели невероятную популярность. В русскоязычном мире событием стало появление Яндекс.Алисы - голосового помощника для мобильных и настольных устройств, способного находить файлы, решать повседневные задачи и поддерживать разговор на любую тему.
В связи с увеличением количества систем, обеспечивающих человеко-машинный диалог, и ростом их аудитории остро встаёт вопрос оценки диалоговых систем. Несмотря на давнюю историю вопроса (см. Раздел 1), в настоящее время не существует метода однозначной объективной оценки качества диалоговой системы. Нельзя не отметить, что затруднительность создания метода оценки качества главным образом обусловлена размытостью понятия «качество диалоговой системы».
Поскольку диалоговые системы зачастую выполняют роль интерфейса и ориентированы в первую очередь на пользователей, удовлетворённость пользователя часто принимается за мерило качества системы.
Настоящее исследование посвящено теме автоматизированного извлечения реплик, свидетельствующих об отрицательной оценке собеседника, из человеко-машинных диалогов различной тематики.
Цель исследования заключается в том, чтобы с помощью лингвистических и компьютерных методов правильно определить искомые реплики и точно извлечь их из коллекции имеющихся данных.
Объектом исследования являются реплики, свидетельствующие об отрицательной оценке собеседника. Под этим термином понимаются реплики (высказывания), содержащие недовольство либо собеседником в целом (см. Пример 1 в Таб. 1), либо коммуникативной ситуацией (см. Пример 2 в Таб. 1), либо отдельными параметрами собеседника (см. Пример 3 в Таб. 1)или ситуации (см. Пример 4 в Таб. 1).
Следует отметить, что под недовольством в данном случае понимается широкий спектр различных негативных эмоций, от непонимания до гнева, включая прямые оскорбления и ироничные рекомендации. Для обозначения подобных реплик в англоязычных источниках используется термин negative feedback(подробнее о термине см. в Разделе 1), в русскоязычных встречается калька отрицательная обратная связь. Все эти понятия обозначают некоторые языковые явления, содержащие некоторые элементы, направленные на взаимодействие с собеседником и выражающие отрицательное отношение к чему-либо, связанному с ситуацией. Это определение ни в коей мере не претендует на формальное, однако некоторым образом очерчивает круг искомых элементов.
Материалом исследования послужили диалоги, созданные в режиме реального времени (через специальные интерфейсы на сайтах в режиме мгновенных сообщений или через сообщения в социальных сетях) в текстовом виде на русском языке.
Материал ограничен только текстовыми сообщениями и не учитывает голосовое общение между человеком и компьютером по ряду причин. Во-первых, сбор голосовых данных сложен с методологической и этической точки зрения (подробнее см. исследования, использующие методы проекта «Один речевой день» [Хониева 2016]). Во-вторых, расшифровка голосовых данных ресурсоёмка, так как требует длительного времени работы эксперта. В силу этих двух особенностей корпуса устных человеко-машинных диалогов крайне малы по объёму. В-третьих, при голосовом общении люди, как правило, не ведут длинных диалогов, поскольку необходимый для этого алгоритм действий (нажать кнопку - записать свой голос - убрать кнопку - подождать ответа - услышать ответ) всё же ещё не совсем естествен для повседневного общения - в отличие от мгновенных текстовых сообщений, занимающих важное место в картине ежедневной коммуникации. Было замечено, что голосом люди чаще всего пользуются для решения конкретных оперативных задач (позвонить, найти дорогу, внести событие в календарь). Свободное общение с голосовыми ассистентами чаще всего строится по парам вопрос-ответ, не представляя собой целостного диалога. Все эти особенности делают голосовые диалоги между людьми и компьютерными диалоговыми системами не совсем подходящим материалом для исследования в рамках заявленной темы. Однако не исключено, что в отдалённой перспективе или с определёнными поправками будет возможно провести подобное исследование и на материале устных диалогов.
Выбор языка диалогов также нуждается в пояснении. Большинство исследований основаны на англоязычном материале, что имеет ряд преимуществ. С методологической точки зрения выбор английского языка удобен, поскольку существует немало готовых коллекций данных и уже натренированных моделей для работы с ними, что позволяет не тратить время и усилия на разработку новых методов и сосредоточиться на лингвистических наблюдениях. С компьютерно-лингвистической точки зрения английский язык удобен, поскольку его морфологическое и синтаксическое разнообразие относительно невелико, что позволяет получать более точные результаты при автоматизированной обработке. С практической лингвистической точки зрения работа с английским языком перспективна, поскольку большое количество речи в интернете создается именно на нём, и изучение специфики выражения недовольства может оказаться полезным для различных других исследований. Тем не менее, мы предполагаем, что введение в научный и практический обиход русскоязычных материалов не только оправдано, но и необходимо. Русскоязычное интернет-сообщество и русскоязычный мир в целом достаточно велики, чтобы его изучение имело не только теоретический, но и практический интерес. Это требует развития методологии и инфраструктуры (корпусов, программ и др.), учитывающих специфику русского языка, в частности, его синтаксические и морфологические особенности. Мы предполагаем, что некоторые результаты настоящего исследования смогут быть полезными для развития в этом направлении.
Отдельно следует пояснить, что задача сопоставления результатов, созданных на различном материале, в настоящем исследовании не ставилась. Во-первых, данные могут быть собраны по различным принципам, что затруднит их сравнение. Во-вторых, могут присутствовать так называемые скрытые переменные, которые не учитываются в каждом из отдельных исследований, но могут играть роль при сопоставлении. В-третьих, мы полагаем, что без достаточно тщательного изучения материалов одного типа, не следует переходить к сравнению, поскольку достоверность результатов может вызывать сомнения.
Выбор материала также обусловлен выбором тематики и цели диалогов. Традиционно производится деление диалоговых систем на целеориентированные (goal- oriented) и не целеориентированные (non goal oriented). Первых систем в настоящее время значительно больше, чем вторых, и они постоянно создаются. Вторые системы сложнее и интереснее для анализа. В нецелеориентированных системах покрываются различные темы, которые могут меняться в процессе одного диалога. Важнейшим отличием таких систем является отсутствие естественного критерия успешности диалога. В то время как при решении конкретной задачи успешным можно считать случай, когда задача решена, и неуспешным случай, когда задача не решена, в режиме свободного диалога нельзя сказать, в какой момент произошла коммуникативная неудача (если вообще произошла). Мы полагаем, что в свободных диалогах различной тематики недовольство одного из собеседников оказывается важнейшим критерием оценки качества диалога. Именно поэтому настоящее исследование основывается на материале именно таких систем.
Актуальность темы обусловлена актуальностью материала и новизной подходов. Большинство существующих работ по теме оценки диалоговых систем написаны на материале английского, в то время как настоящее исследование выполнено на материале русского языка. Также большинство работ выполнено на материале целеориентированных (goal-oriented) диалоговых систем, в то время как настоящее исследование основывается на не целеориентированных (non goal-oriented). Существующие методы оценки диалоговых систем используют автоматизированные алгоритмические решения для учёта технических характеристик диалога (количество реплик, среднее время ожидания ответа и др., подробнее см. в [Moller 2005]), однако целью настоящего исследования является автоматизированное извлечение некоторых реплик на основе их содержания (реплик, объединённых общей тематикой неудовлетворённости).
Исследование имеет теоретическую и практическую значимость. В лингвистической теории результаты работы могут помочь лучше понять специфику выражения недовольства в современном русском языке и особенности употребления различных оценочных номинаций людей. Также работа способствует развитию изучения человеко-машинных диалогов как новой формы коммуникации. Эти исследования могут быть полезны как для специалистов по изучению диалогической речи, так и для специалистов, изучающих поведение людей в различных коммуникативных ситуациях. Значимость исследования для компьютерной лингвистики состоит в том, что оно представляет подробное исследование некоторых методов классификации и предлагает поправки для их применения в нестандартных ситуациях. Впоследствии методы с этими поправками можно будет использовать для решения других задач классификации неразмеченных несбалансированных данных.
Практическая значимость работы состоит в том, что исследование является шагом к ещё не созданной, но уже очень востребованной на рынке системе автоматической оценки качества диалога. Системы автоматизированного определения реплик, свидетельствующих о неудовлетворённости, помогут компаниям, владеющим диалоговыми системами, узнавать о случаях недовольства в режиме реального времени и, возможно, применять адаптивные стратегии для совершенствования диалоговых систем. Кроме того, автоматизированный поиск неудовлетворительных коммуникативных ситуаций позволит компаниям получать более полную информацию об успешности их систем. Конечно, в настоящее время во многих системах реализована возможность эксплицитного выражения пользовательского отношения к системе: под репликами диалогового агента (бота) появляются кнопки «нравится» и «не нравится». Однако люди используют их далеко не во всех случаях, когда не удовлетворены репликой бота. Автоматизированное извлечение подобных реплик снимет нагрузку и с пользователей, и с разработчиков подобных систем отзыва.
В соответствии с поставленной целью исследование предполагает решение ряда задач, коррелирующих с этапами исследования:
1. Ознакомиться с литературой по теме оценки диалоговых систем и методам классификации.
2. Создать корпус материалов.
3. Представить тексты в численном виде.
4. Оценить приемлемость методов для достижения цели и выбрать лучшие.
5. Обучить компьютерные модели и оценить их результативность на небольшой выборке.
6. Выбрать лучшую модель и применить её ко всему корпусу.
7. Оценить качество извлечения реплик.
Работа организована в соответствии с хронологическим (и логическим) порядком решения поставленных задач. Раздел 1 содержит обзор литературы. Раздел 2 посвящён описанию процедуры сбора и предварительной обработки материалов. Раздел 3 представляет методы, использованные для преобразования текстов в численные векторы и освещает некоторые промежуточные результаты, связанные с оценкой применяемых методов. Раздел 4 подробно описывает методы классификации текста, содержит обоснование выбора методов для настоящего исследования, а также результаты. Раздел 5 суммирует и интерпретирует результаты, а также предлагает ряд задач для дальнейших исследований. Работа завершается списком процитированной литературы и Приложением
В связи с увеличением количества систем, обеспечивающих человеко-машинный диалог, и ростом их аудитории остро встаёт вопрос оценки диалоговых систем. Несмотря на давнюю историю вопроса (см. Раздел 1), в настоящее время не существует метода однозначной объективной оценки качества диалоговой системы. Нельзя не отметить, что затруднительность создания метода оценки качества главным образом обусловлена размытостью понятия «качество диалоговой системы».
Поскольку диалоговые системы зачастую выполняют роль интерфейса и ориентированы в первую очередь на пользователей, удовлетворённость пользователя часто принимается за мерило качества системы.
Настоящее исследование посвящено теме автоматизированного извлечения реплик, свидетельствующих об отрицательной оценке собеседника, из человеко-машинных диалогов различной тематики.
Цель исследования заключается в том, чтобы с помощью лингвистических и компьютерных методов правильно определить искомые реплики и точно извлечь их из коллекции имеющихся данных.
Объектом исследования являются реплики, свидетельствующие об отрицательной оценке собеседника. Под этим термином понимаются реплики (высказывания), содержащие недовольство либо собеседником в целом (см. Пример 1 в Таб. 1), либо коммуникативной ситуацией (см. Пример 2 в Таб. 1), либо отдельными параметрами собеседника (см. Пример 3 в Таб. 1)или ситуации (см. Пример 4 в Таб. 1).
Следует отметить, что под недовольством в данном случае понимается широкий спектр различных негативных эмоций, от непонимания до гнева, включая прямые оскорбления и ироничные рекомендации. Для обозначения подобных реплик в англоязычных источниках используется термин negative feedback(подробнее о термине см. в Разделе 1), в русскоязычных встречается калька отрицательная обратная связь. Все эти понятия обозначают некоторые языковые явления, содержащие некоторые элементы, направленные на взаимодействие с собеседником и выражающие отрицательное отношение к чему-либо, связанному с ситуацией. Это определение ни в коей мере не претендует на формальное, однако некоторым образом очерчивает круг искомых элементов.
Материалом исследования послужили диалоги, созданные в режиме реального времени (через специальные интерфейсы на сайтах в режиме мгновенных сообщений или через сообщения в социальных сетях) в текстовом виде на русском языке.
Материал ограничен только текстовыми сообщениями и не учитывает голосовое общение между человеком и компьютером по ряду причин. Во-первых, сбор голосовых данных сложен с методологической и этической точки зрения (подробнее см. исследования, использующие методы проекта «Один речевой день» [Хониева 2016]). Во-вторых, расшифровка голосовых данных ресурсоёмка, так как требует длительного времени работы эксперта. В силу этих двух особенностей корпуса устных человеко-машинных диалогов крайне малы по объёму. В-третьих, при голосовом общении люди, как правило, не ведут длинных диалогов, поскольку необходимый для этого алгоритм действий (нажать кнопку - записать свой голос - убрать кнопку - подождать ответа - услышать ответ) всё же ещё не совсем естествен для повседневного общения - в отличие от мгновенных текстовых сообщений, занимающих важное место в картине ежедневной коммуникации. Было замечено, что голосом люди чаще всего пользуются для решения конкретных оперативных задач (позвонить, найти дорогу, внести событие в календарь). Свободное общение с голосовыми ассистентами чаще всего строится по парам вопрос-ответ, не представляя собой целостного диалога. Все эти особенности делают голосовые диалоги между людьми и компьютерными диалоговыми системами не совсем подходящим материалом для исследования в рамках заявленной темы. Однако не исключено, что в отдалённой перспективе или с определёнными поправками будет возможно провести подобное исследование и на материале устных диалогов.
Выбор языка диалогов также нуждается в пояснении. Большинство исследований основаны на англоязычном материале, что имеет ряд преимуществ. С методологической точки зрения выбор английского языка удобен, поскольку существует немало готовых коллекций данных и уже натренированных моделей для работы с ними, что позволяет не тратить время и усилия на разработку новых методов и сосредоточиться на лингвистических наблюдениях. С компьютерно-лингвистической точки зрения английский язык удобен, поскольку его морфологическое и синтаксическое разнообразие относительно невелико, что позволяет получать более точные результаты при автоматизированной обработке. С практической лингвистической точки зрения работа с английским языком перспективна, поскольку большое количество речи в интернете создается именно на нём, и изучение специфики выражения недовольства может оказаться полезным для различных других исследований. Тем не менее, мы предполагаем, что введение в научный и практический обиход русскоязычных материалов не только оправдано, но и необходимо. Русскоязычное интернет-сообщество и русскоязычный мир в целом достаточно велики, чтобы его изучение имело не только теоретический, но и практический интерес. Это требует развития методологии и инфраструктуры (корпусов, программ и др.), учитывающих специфику русского языка, в частности, его синтаксические и морфологические особенности. Мы предполагаем, что некоторые результаты настоящего исследования смогут быть полезными для развития в этом направлении.
Отдельно следует пояснить, что задача сопоставления результатов, созданных на различном материале, в настоящем исследовании не ставилась. Во-первых, данные могут быть собраны по различным принципам, что затруднит их сравнение. Во-вторых, могут присутствовать так называемые скрытые переменные, которые не учитываются в каждом из отдельных исследований, но могут играть роль при сопоставлении. В-третьих, мы полагаем, что без достаточно тщательного изучения материалов одного типа, не следует переходить к сравнению, поскольку достоверность результатов может вызывать сомнения.
Выбор материала также обусловлен выбором тематики и цели диалогов. Традиционно производится деление диалоговых систем на целеориентированные (goal- oriented) и не целеориентированные (non goal oriented). Первых систем в настоящее время значительно больше, чем вторых, и они постоянно создаются. Вторые системы сложнее и интереснее для анализа. В нецелеориентированных системах покрываются различные темы, которые могут меняться в процессе одного диалога. Важнейшим отличием таких систем является отсутствие естественного критерия успешности диалога. В то время как при решении конкретной задачи успешным можно считать случай, когда задача решена, и неуспешным случай, когда задача не решена, в режиме свободного диалога нельзя сказать, в какой момент произошла коммуникативная неудача (если вообще произошла). Мы полагаем, что в свободных диалогах различной тематики недовольство одного из собеседников оказывается важнейшим критерием оценки качества диалога. Именно поэтому настоящее исследование основывается на материале именно таких систем.
Актуальность темы обусловлена актуальностью материала и новизной подходов. Большинство существующих работ по теме оценки диалоговых систем написаны на материале английского, в то время как настоящее исследование выполнено на материале русского языка. Также большинство работ выполнено на материале целеориентированных (goal-oriented) диалоговых систем, в то время как настоящее исследование основывается на не целеориентированных (non goal-oriented). Существующие методы оценки диалоговых систем используют автоматизированные алгоритмические решения для учёта технических характеристик диалога (количество реплик, среднее время ожидания ответа и др., подробнее см. в [Moller 2005]), однако целью настоящего исследования является автоматизированное извлечение некоторых реплик на основе их содержания (реплик, объединённых общей тематикой неудовлетворённости).
Исследование имеет теоретическую и практическую значимость. В лингвистической теории результаты работы могут помочь лучше понять специфику выражения недовольства в современном русском языке и особенности употребления различных оценочных номинаций людей. Также работа способствует развитию изучения человеко-машинных диалогов как новой формы коммуникации. Эти исследования могут быть полезны как для специалистов по изучению диалогической речи, так и для специалистов, изучающих поведение людей в различных коммуникативных ситуациях. Значимость исследования для компьютерной лингвистики состоит в том, что оно представляет подробное исследование некоторых методов классификации и предлагает поправки для их применения в нестандартных ситуациях. Впоследствии методы с этими поправками можно будет использовать для решения других задач классификации неразмеченных несбалансированных данных.
Практическая значимость работы состоит в том, что исследование является шагом к ещё не созданной, но уже очень востребованной на рынке системе автоматической оценки качества диалога. Системы автоматизированного определения реплик, свидетельствующих о неудовлетворённости, помогут компаниям, владеющим диалоговыми системами, узнавать о случаях недовольства в режиме реального времени и, возможно, применять адаптивные стратегии для совершенствования диалоговых систем. Кроме того, автоматизированный поиск неудовлетворительных коммуникативных ситуаций позволит компаниям получать более полную информацию об успешности их систем. Конечно, в настоящее время во многих системах реализована возможность эксплицитного выражения пользовательского отношения к системе: под репликами диалогового агента (бота) появляются кнопки «нравится» и «не нравится». Однако люди используют их далеко не во всех случаях, когда не удовлетворены репликой бота. Автоматизированное извлечение подобных реплик снимет нагрузку и с пользователей, и с разработчиков подобных систем отзыва.
В соответствии с поставленной целью исследование предполагает решение ряда задач, коррелирующих с этапами исследования:
1. Ознакомиться с литературой по теме оценки диалоговых систем и методам классификации.
2. Создать корпус материалов.
3. Представить тексты в численном виде.
4. Оценить приемлемость методов для достижения цели и выбрать лучшие.
5. Обучить компьютерные модели и оценить их результативность на небольшой выборке.
6. Выбрать лучшую модель и применить её ко всему корпусу.
7. Оценить качество извлечения реплик.
Работа организована в соответствии с хронологическим (и логическим) порядком решения поставленных задач. Раздел 1 содержит обзор литературы. Раздел 2 посвящён описанию процедуры сбора и предварительной обработки материалов. Раздел 3 представляет методы, использованные для преобразования текстов в численные векторы и освещает некоторые промежуточные результаты, связанные с оценкой применяемых методов. Раздел 4 подробно описывает методы классификации текста, содержит обоснование выбора методов для настоящего исследования, а также результаты. Раздел 5 суммирует и интерпретирует результаты, а также предлагает ряд задач для дальнейших исследований. Работа завершается списком процитированной литературы и Приложением
Из настоящего исследования можно сделать ряд выводов как лингвистического, так и методологического характера, которые помогут в дальнейшем развиваться направлению автоматической оценки диалоговых систем.
1. Реплики, свидетельствующие об отрицательной оценке собеседника, в русском языке могут оформляться различными лексическими и синтаксическими средствами, что делает их весьма сложными для изучения.
2. Выбранные методы классификации оправдывают своё применение в настоящем исследовании.
3. Значительная несбалансированность данных может быть частично преодолена на этапе обучения и тестирования, однако приводит к снижению результатов при применении к большему объёму данных.
4. Тем не менее, некоторые результаты обучения приближаются к получаемым в других исследованиях (в частности, [Gamon 2004]).
5. Признакового пространства малой размерности оказывается недостаточно для того, чтобы получить хорошие результаты классификации.
6. Признаковые пространства большой размерности демонстрируют разные результаты как на этапе тестирования, так и на этапе извлечения реплик, однако эти результаты могут быть высокими.
Цель настоящего исследования достигнута, но остаётся ряд интересных проблем, которые следовало бы решить в дальнейшем. Как нам кажется, следует проводить больше исследований на русскоязычном материале, поскольку это имеет как научную, так и практическую ценность. Создание корпуса человеко-машинных диалогов могло бы стать самостоятельным проектом. Улучшение качества уже имеющихся алгоритмов, а также поиск новых признаковых пространств могли бы позволить создать мощный инструмент оценки содержания диалоговых корпусов. Расширение материала исследования (например, извлечение также реплик с положительной тональности) могло бы позволить точнее оценивать диалоговые системы. Хочется надеяться, что в скором времени подобные исследования всё же приведут к созданию единому автоматизированному алгоритму оценки диалоговых систем.
Номер признака Что обозначает Как считается
1. Реплики, свидетельствующие об отрицательной оценке собеседника, в русском языке могут оформляться различными лексическими и синтаксическими средствами, что делает их весьма сложными для изучения.
2. Выбранные методы классификации оправдывают своё применение в настоящем исследовании.
3. Значительная несбалансированность данных может быть частично преодолена на этапе обучения и тестирования, однако приводит к снижению результатов при применении к большему объёму данных.
4. Тем не менее, некоторые результаты обучения приближаются к получаемым в других исследованиях (в частности, [Gamon 2004]).
5. Признакового пространства малой размерности оказывается недостаточно для того, чтобы получить хорошие результаты классификации.
6. Признаковые пространства большой размерности демонстрируют разные результаты как на этапе тестирования, так и на этапе извлечения реплик, однако эти результаты могут быть высокими.
Цель настоящего исследования достигнута, но остаётся ряд интересных проблем, которые следовало бы решить в дальнейшем. Как нам кажется, следует проводить больше исследований на русскоязычном материале, поскольку это имеет как научную, так и практическую ценность. Создание корпуса человеко-машинных диалогов могло бы стать самостоятельным проектом. Улучшение качества уже имеющихся алгоритмов, а также поиск новых признаковых пространств могли бы позволить создать мощный инструмент оценки содержания диалоговых корпусов. Расширение материала исследования (например, извлечение также реплик с положительной тональности) могло бы позволить точнее оценивать диалоговые системы. Хочется надеяться, что в скором времени подобные исследования всё же приведут к созданию единому автоматизированному алгоритму оценки диалоговых систем.
Номер признака Что обозначает Как считается