ВВЕДЕНИЕ 2
1 АВТОМАТИЧЕСКАЯ ПРОВЕРКА ПИСЬМЕННЫХ РАБОТ 4
1.1 Системы на основе шаблонов-масок 5
1.2 Системы на основе модели «мешка слов» 6
1.3 Системы на основе семантико-синтаксического анализа и векторных
представлений 8
2 АНАЛИЗ ПОДХОДОВ И ПРОЕКТИРОВАНИЕ РЕШЕНИЯ 11
2.1 Критерии оценки смыслового подобия текстов 12
2.2 Семантический анализ 15
2.2.1 Латентный семантический анализ(Ь8Л) 16
2.2.2 Латентное размещение Дирихле(ЬВЛ) 18
2.2.3 Явный семантический анализ(ЕЗЛ) 19
2.2.4 Word2vec 19
2.2.5 Doc2vec 21
2.3 Проектирование решения 22
3 ПРОГРАММНАЯ РЕАЛИЗАЦИЯ БИБЛИОТЕКИ 23
3.1 Выбор инструментов и технологий разработки 23
3.2 Предварительная обработка данных 24
3.3 Реализация модели doc2vec 26
3.4 Тематическое моделирование технологией LDA 29
3.5 Полученные результаты 31
ЗАКЛЮЧЕНИЕ 34
ГЛОССАРИЙ 35
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 36
ПРИЛОЖЕНИЕ 38
Одной из главных составляющих процесса обучения является оценка знаний, полученных студентом. Наиболее распространенным методом контроля знаний является тестирование. Особую ценность представляют задания, требующие развернутого ответа на поставленный вопрос. Они обладают рядом преимуществ, таких как обеспечение более углубленной оценки овладения предметной областью, расширение возможностей диагностики проблем в обучении.
Однако оценка свободных ответов является трудоемким для преподавателя процессом. По этой причине, у студентов могут возникнуть трудности с получением обратной связи в процессе работы над заданием. У преподавателя не всегда есть возможность предоставить оценку промежуточных результатов, поэтому, как правило, студенты сдают итоговую версию своих работ без возможности последующих исправлений. Автоматизация процесса оценки позволило бы снизить нагрузку на преподавателя и избавиться от вызванных этим проблем.
Учитывая, что использование технологий автоматизированной оценки не может гарантировать точность результатов проверки, хорошим решением будет создание системы, которая будет предоставлять студенту обратную связь в процессе работы над заданием в виде индикаторов ошибок и неточностей. Это позволит значительно повысить качество ответов перед отправкой экспертам на проверку.
Реализация оценки русскоязычных текстов представляет особую сложность. На данный момент испытывается большая нехватка качественных открытых ресурсов и инструментов для обработки русского языка. По этой причине, на сегодняшний день, в русскоязычном сегменте системы образования не наблюдается популярность использования инструментов автоматической оценки развернутых ответов.
Таким образом, целью данной дипломной работы является создание библиотеки, реализующей автоматическую оценку развернутых ответов на русском языке с предоставлением обратной связи для студентов, которую можно будет внедрить в модули обучающих систем, работающих с текстовыми заданиями.
Для достижения поставленной цели необходимо решить следующие задачи:
1. Провести анализ известных подходов к автоматизации оценки развернутых ответов на задания на русском языке и их применимости в системе обучения.
2. Определить наиболее точный подход, результаты оценки которого будут максимально приближены к результатам ручной(экспертной) проверки.
3. Определить критерии, по которым будет оцениваться степень корректности ответа студента.
4. Провести сбор исходных данных, необходимых для тестирования и сравнения разных подходов к решению проблемы.
5. Реализовать алгоритмы и механизмы автоматической проверки развернутых ответов на русском языке.
6. Реализовать прототип модуля оценки корректности развернутых ответов на естественном языке, готовый для внедрения в обучающие системы.
В результате дипломной работы была разработана библиотека, реализующая автоматическую проверку корректности развернутых ответов на естественном языке, адаптированная под русский язык. Разработанное решение предназначено для использования в качестве модуля, интегрируемого в обучающие системы с целью автоматизированного получения информации о степени корректности работы студента.
В процессе выполнения был проведен критический анализ подходов и существующих решений по автоматизации оценки свободных ответов. По его результатам было решено, что корректность студенческого ответа будет определяться методом сравнения с эталонным вариантом по следующим критериям:
• степень пересечения понятийного состава (K1);
• совпадение элементов текста, на которые падает логическое ударение и которые имеют более высокое значение (K2);
• противоположность заложенных в текстах идей (K3).
Текущая версия библиотеки учитывает не все критерии. Соответствие критериям определяется с помощью технологий машинного обучения doc2vec и LDA. Для тестирования работы библиотеки был собран корпус из 10 тыс. статей из области информационных технологий.
В дальнейшем планируется улучшение результатов работы библиотеки путем оптимизации используемых алгоритмов, сбора и применения специальных коллекций данных(словарей, тезаурусов).
Помощь студентам и аспирантам в выполнении работ от наших партнеров
