Введение 3
Глава 1. Анализ моделей контроля ответов обучаемого на естественном
языке 6
1.1. Существующие подходы к обработке ответов на естественном языке 7
1.2. Описание модели Лингвистического процессора ответов обучаемого на естественном языке, разрабатываемого НИИ «Прикладной семиотики» АН РТ 11
Глава 2. Модуль анализа ответов на естественном языка на вопросы типа Функция как составляющая лингвистической модели контроля вопросно-
ответных текстов на естественном языке 14
2.1. Архитектура модуля анализа ответов на естественном языке на вопросы
типа Функция 14
2.2. Базовые понятия и элементы модуля «Функция» 15
Глава 3. Программная реализация модуля «Функция» 22
3.1. Выбор инструментария 22
3.2. Описание программного модуля «Функция» 23
3.3 Демонстрация работы модуля «Функция» 30
Заключение 33
Список литературы 34
Приложение 1 36
Приложение 2 41
В связи с быстро развивающимися технологиями остро встает вопрос как о качественной обработке информации, так и о максимально быстром и эффективном ее усвоении при обучении. Для этого в последнее время создается множество программных решений — автоматизированных обучающих систем. Автоматизированные обучающие системы — это системы электронного обучения, в которых предоставляется возможность изучения материалов посредством видео, аудио, записей вебинаров, интерактивных лекций, наглядных схем и рисунков, а контроль знаний автоматизирован в большой части его аспектов.
Достаточно часто в качестве автоматизированной формы контроля знаний обучающихся используется тестирование с использованием закрытых вопросов [1]. Менее разработанной технологией является тестирование с использованием вопросов открытого типа, при котором происходит обработка ответов обучаемого, даваемых на естественном языке. Создание средств работы со свободно-конструированным ответом в интеллектуальных обучающих системах может существенно обогатить проверку знаний по смыслу [1].
Как показывает анализ литературы и обзор публикаций в сети Интернет, современные тестирующие программы накладывают множество ограничений на ожидаемый ответ, что снижает качество оценки уровня знаний, особенно по смыслу [2]. Поэтому анализ способов решения задач, мыслительных операций, которые использует обучаемый при решении задач, в большинстве случаев, оказывается затруднен. Вместе с тем применение прагматически ориентированного подхода к построению модуля анализа ответа, как это показано в работе Сулейманова Д.Ш. [4], и максимальный учет контекста и специфики анализа вопросно-ответной ситуации, а именно учет фактора «детерменированности» ответа обучаемого и его «ожидаемости» по заданному вопросу, дает возможность построить эффективный лингвопроцессор вопросно-ответных текстов на естественном языке (ЕЯ).
Таким образом, новая задача в целом заключается в расширении возможностей автоматизированных обучающих систем в части контроля ответа обучаемого по содержанию, по смыслу, причем, в естественной для обучаемого форме (текст на естественном языке, речь).
Актуальность задачи, решаемой в рамках данной дипломной работы заключается в том, что она является аналитической и технологической про-работкой и программной реализацией одного из важных модулей концептуальной модели лингвистического процессора, разработанного в СНИЛ ПИИ АНТ и КГУ [4], а именно модуля анализа ЕЯ-ответов на вопросы типа Функция.
Существует множество различных подходов к организации архитектуры автоматизированной обучающей системы. В данной работе исследуется и реализуется анализатор ответов обучающего на вопросы узкого класса вопросов, а именно вопросов типа 3, требующих раскрытия в ответе составного отношения (нескольких контекстно связанных простых отношений) понятия. Анализ основывается на идее разработки «синтаксиса смысла» потенциальных ответов на вопрос, называемых индивидуальными концептуальными грамматиками [2], создания предполагаемой модели ответа (исходя из принципа ожидания ответа по заданному вопросу) и формирования вектора ситуации как основы для оценки ответа преподавателем.
Постановка задачи
Целью данной дипломной работы является создание программного модуля анализа ЕЯ-ответов на вопросы типа Функция.
Задачи:
1. Аналитический обзор литературы по теме. Анализ лингвистических моделей контроля ответов обучаемого на естественном языке.
2. Исследование и уточнение модели ответа на вопросы типа Функция, как составляющей лингвистической модели контроля вопросно-ответных текстов на ЕЯ.
3. Разработка архитектуры модуля анализа ответов на вопросы типа Функция на ЕЯ (далее модуля «Функция»).
4. Разработка и описание базовых понятий и элементов модуля «Функция».
5. Разработка интерфейса модуля «Функция», выбор программного инструментария и программная реализация модуля «Функция».
6. Реализация и тестирование модуля «Функция».
Работа состоит из введения, трех глав, заключения и двух приложений. В первой главе рассматриваются существующие подходы к реализации обработки ответов обучаемого на естественном языке, с акцентом на модель лингвистического процессора, разработанной Сулеймановым Д.Ш. [4], со-держащий модуль анализа ответов типа Функция как часть.
В главе 2 раскрывается детально модуль анализа ответов на естественном языке на вопросы типа Функция, как одной из структурных составляющих лингвистической модели контроля вопросно-ответных текстов на естественном языке. Определяются базовые понятия и описываются элементы модуля «Функция» и интерфейс модуля с пользователем.
Глава 3 посвящена описанию программной реализации и тестирования модуля, здесь приводится алгоритмическая схема с интерпретацией некоторых блоков с кодом, полный текст кода дается в Приложении 1. Также в этой части дается обоснование выбора инструментария для реализации модуля анализа ответов на естественном языке на вопросы типа Функция, его технические характеристики. Работа модуля иллюстрируется примерами. Полный перечень примеров, использованных при тестировании модуля, приводится в Приложении 2.
В работе были реализованы все поставленные задачи и достигнута цель — реализован модуль анализа ответов типа «Функция». Созданный модуль включает в себя основные компоненты: лексический процессор, семантический интерпретатор, базу знаний и интерфейс взаимодействия с пользователем. Благодаря полученным данным из результатов эксперимента можно сделать выводы о дальнейшей доработке теоретической части — модели ответа, ИКГ и о возможно расширении и углублении метода за счет использования идей не только прагматически ориентированного подхода.
В целом получился связный сервис проверки знаний, позволяющий автоматическую проверку ответов на вопросы из базы знаний. Однако очевидна необходимость дальнейшей автоматизации рутинных действий экспертов по обработке данных, в частности по заполнению базы знаний. Разработка анализатора должна вестись с учетом особенностей языка и мышления его носителей.
Одним из пунктов для дальнейшего развития является разработка быстрого и эффективного метода проверки на схожесть эталонного ответа и ответа обучающего без лишней нагрузки пользователя.
В перспективе данный модуль можно расширить до построения полно - ценной автоматизированной обучаемой системы с автоматической генерацией вопросов разных типов, обработкой ответов на них.
1. Пучков, Н.П. Разработка банков тестовых заданий: методические рекомендации/ Н.П. Пучков, К.В. Брянкин, Н.В. Майстренко. - Тамбов: Изд-во Тамб. гос. техн. ун-та, 2008. - 64 с.
2. Балыкина, Е.Н. Анализ свободно-конструируемого ответа в интеллектуальных обучающих программах и системах(из опыта преподавания исторических дисциплин) / Е.Н. Балыкина // Круг идей: Историческая Информатика на пороге XI века: науч. тр. по результат. VI конф. Ассоциации «История и компьютер» / Моск. гос. объединение архив., Чебоксар. гос. ун-т; под ред. Л.И. Бородкина, Ю.П. Смирнова, И.Ф. Юшина. - М.-Чебоксары, 2000. - С.397- 436
3. В.М. Неделько, Ю.Д. Манузина, М.А. Назарьева Оценивание похожести текстов на основе канонического представления // Сборник научных трудов НГТУ. - 2008. - № 3(53) - 59-68
4. Сулейманов Д.Ш. Системы и информационные технологии обработки естественно-языковых текстов на основе прагматически - ориентированных лингвистических моделей. // Диссертация на соискание ученой степени доктора технических наук. Казань 2000
5. Соловьев А.А. Кто виноват и где собака зарыта? Метод валидации ответов на основе неточного сравнения семантических графов в вопросно-ответной системе.
6. Богатов Н.М., Родоманов Р.Р. Автоматизация вопросно-ответного диалога в обучающей системе. // Современные наукоемкие технологии № 4 2006
7. Карпова И.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах. // Диссертация на соискание ученой степени кандидата технических наук. Москва 2002
8. И. М. Богуславский, Л. Л. Иомдин, В. Г. Сизов, И. С. Чардин Использование размеченного корпуса текстов при автоматическом синтаксическом анализе
9. Соловьев А.А. Синтаксические и семантические модели и алгоритмы в задаче вопрос-ответного поиска. Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» - RCDL’2011, Воронеж, Россия, 2011
10. Черепанова Ю.Ю. Контроль знаний с ответами на естественном языке //Восточно-европейский журнал передовых технологий 4/2 (40) 2009
11. Ms. Shweta M. Patil, Prof. Ms. Sonal Patil Evaluating Student Descriptive Answers Using Natural Language Processing // International Journal of En-gineering
12. Шелман А.О. Исследование методов автоматического анализа текстов и разработка интегрированной системы семантико-синтаксического анализа // Диссертация на соискание ученой степени кандидата технических наук. Москва 2015
13. Климов, А.В. Разработка методов семантического анализа текстов при
тестировании знаний человека / А.В. Климов // Материалы 51-ой международной студенческой конференции: «Студент и научно¬
технический прогресс», 12-18 апреля 2013 г: Информационные техно-логии / Новосибирский гос. ун-т. - Новосибирск, 2013. - С. 227.
14. Ершов Ю.С. Выделение ключевых слов в русскоязычных текстах. //
Электронный журнал Молодежный научно-технический вестник Издательство ФГБОУ ВПО “МГТУ им. Н.Э.Баумана” -
http: //sntbul .bmstu.ru/doc/730749.html
15. http: //snowball .tartarus .org/