📄Работа №50974
Тема: Автоматизированная проверка развернутых ответов на естественном языке
Тип работы
Дипломные работы, ВКР
Предмет
информатика
Объем:
43 листов
Год:
2018
Просмотров:
482
4770
руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание
ВВЕДЕНИЕ 2
1 АВТОМАТИЧЕСКАЯ ПРОВЕРКА ПИСЬМЕННЫХ РАБОТ 4
1.1 Системы на основе шаблонов-масок 5
1.2 Системы на основе модели «мешка слов» 6
1.3 Системы на основе семантико-синтаксического анализа и векторных
представлений 8
2 АНАЛИЗ ПОДХОДОВ И ПРОЕКТИРОВАНИЕ РЕШЕНИЯ 11
2.1 Критерии оценки смыслового подобия текстов 12
2.2 Семантический анализ 15
2.2.1 Латентный семантический анализ(Ь8Л) 16
2.2.2 Латентное размещение Дирихле(ЬВЛ) 18
2.2.3 Явный семантический анализ(ЕЗЛ) 19
2.2.4 Word2vec 19
2.2.5 Doc2vec 21
2.3 Проектирование решения 22
3 ПРОГРАММНАЯ РЕАЛИЗАЦИЯ БИБЛИОТЕКИ 23
3.1 Выбор инструментов и технологий разработки 23
3.2 Предварительная обработка данных 24
3.3 Реализация модели doc2vec 26
3.4 Тематическое моделирование технологией LDA 29
3.5 Полученные результаты 31
ЗАКЛЮЧЕНИЕ 34
ГЛОССАРИЙ 35
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 36
ПРИЛОЖЕНИЕ 38
1 АВТОМАТИЧЕСКАЯ ПРОВЕРКА ПИСЬМЕННЫХ РАБОТ 4
1.1 Системы на основе шаблонов-масок 5
1.2 Системы на основе модели «мешка слов» 6
1.3 Системы на основе семантико-синтаксического анализа и векторных
представлений 8
2 АНАЛИЗ ПОДХОДОВ И ПРОЕКТИРОВАНИЕ РЕШЕНИЯ 11
2.1 Критерии оценки смыслового подобия текстов 12
2.2 Семантический анализ 15
2.2.1 Латентный семантический анализ(Ь8Л) 16
2.2.2 Латентное размещение Дирихле(ЬВЛ) 18
2.2.3 Явный семантический анализ(ЕЗЛ) 19
2.2.4 Word2vec 19
2.2.5 Doc2vec 21
2.3 Проектирование решения 22
3 ПРОГРАММНАЯ РЕАЛИЗАЦИЯ БИБЛИОТЕКИ 23
3.1 Выбор инструментов и технологий разработки 23
3.2 Предварительная обработка данных 24
3.3 Реализация модели doc2vec 26
3.4 Тематическое моделирование технологией LDA 29
3.5 Полученные результаты 31
ЗАКЛЮЧЕНИЕ 34
ГЛОССАРИЙ 35
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 36
ПРИЛОЖЕНИЕ 38
📖 Введение
Одной из главных составляющих процесса обучения является оценка знаний, полученных студентом. Наиболее распространенным методом контроля знаний является тестирование. Особую ценность представляют задания, требующие развернутого ответа на поставленный вопрос. Они обладают рядом преимуществ, таких как обеспечение более углубленной оценки овладения предметной областью, расширение возможностей диагностики проблем в обучении.
Однако оценка свободных ответов является трудоемким для преподавателя процессом. По этой причине, у студентов могут возникнуть трудности с получением обратной связи в процессе работы над заданием. У преподавателя не всегда есть возможность предоставить оценку промежуточных результатов, поэтому, как правило, студенты сдают итоговую версию своих работ без возможности последующих исправлений. Автоматизация процесса оценки позволило бы снизить нагрузку на преподавателя и избавиться от вызванных этим проблем.
Учитывая, что использование технологий автоматизированной оценки не может гарантировать точность результатов проверки, хорошим решением будет создание системы, которая будет предоставлять студенту обратную связь в процессе работы над заданием в виде индикаторов ошибок и неточностей. Это позволит значительно повысить качество ответов перед отправкой экспертам на проверку.
Реализация оценки русскоязычных текстов представляет особую сложность. На данный момент испытывается большая нехватка качественных открытых ресурсов и инструментов для обработки русского языка. По этой причине, на сегодняшний день, в русскоязычном сегменте системы образования не наблюдается популярность использования инструментов автоматической оценки развернутых ответов.
Таким образом, целью данной дипломной работы является создание библиотеки, реализующей автоматическую оценку развернутых ответов на русском языке с предоставлением обратной связи для студентов, которую можно будет внедрить в модули обучающих систем, работающих с текстовыми заданиями.
Для достижения поставленной цели необходимо решить следующие задачи:
1. Провести анализ известных подходов к автоматизации оценки развернутых ответов на задания на русском языке и их применимости в системе обучения.
2. Определить наиболее точный подход, результаты оценки которого будут максимально приближены к результатам ручной(экспертной) проверки.
3. Определить критерии, по которым будет оцениваться степень корректности ответа студента.
4. Провести сбор исходных данных, необходимых для тестирования и сравнения разных подходов к решению проблемы.
5. Реализовать алгоритмы и механизмы автоматической проверки развернутых ответов на русском языке.
6. Реализовать прототип модуля оценки корректности развернутых ответов на естественном языке, готовый для внедрения в обучающие системы.
Однако оценка свободных ответов является трудоемким для преподавателя процессом. По этой причине, у студентов могут возникнуть трудности с получением обратной связи в процессе работы над заданием. У преподавателя не всегда есть возможность предоставить оценку промежуточных результатов, поэтому, как правило, студенты сдают итоговую версию своих работ без возможности последующих исправлений. Автоматизация процесса оценки позволило бы снизить нагрузку на преподавателя и избавиться от вызванных этим проблем.
Учитывая, что использование технологий автоматизированной оценки не может гарантировать точность результатов проверки, хорошим решением будет создание системы, которая будет предоставлять студенту обратную связь в процессе работы над заданием в виде индикаторов ошибок и неточностей. Это позволит значительно повысить качество ответов перед отправкой экспертам на проверку.
Реализация оценки русскоязычных текстов представляет особую сложность. На данный момент испытывается большая нехватка качественных открытых ресурсов и инструментов для обработки русского языка. По этой причине, на сегодняшний день, в русскоязычном сегменте системы образования не наблюдается популярность использования инструментов автоматической оценки развернутых ответов.
Таким образом, целью данной дипломной работы является создание библиотеки, реализующей автоматическую оценку развернутых ответов на русском языке с предоставлением обратной связи для студентов, которую можно будет внедрить в модули обучающих систем, работающих с текстовыми заданиями.
Для достижения поставленной цели необходимо решить следующие задачи:
1. Провести анализ известных подходов к автоматизации оценки развернутых ответов на задания на русском языке и их применимости в системе обучения.
2. Определить наиболее точный подход, результаты оценки которого будут максимально приближены к результатам ручной(экспертной) проверки.
3. Определить критерии, по которым будет оцениваться степень корректности ответа студента.
4. Провести сбор исходных данных, необходимых для тестирования и сравнения разных подходов к решению проблемы.
5. Реализовать алгоритмы и механизмы автоматической проверки развернутых ответов на русском языке.
6. Реализовать прототип модуля оценки корректности развернутых ответов на естественном языке, готовый для внедрения в обучающие системы.
✅ Заключение
В результате дипломной работы была разработана библиотека, реализующая автоматическую проверку корректности развернутых ответов на естественном языке, адаптированная под русский язык. Разработанное решение предназначено для использования в качестве модуля, интегрируемого в обучающие системы с целью автоматизированного получения информации о степени корректности работы студента.
В процессе выполнения был проведен критический анализ подходов и существующих решений по автоматизации оценки свободных ответов. По его результатам было решено, что корректность студенческого ответа будет определяться методом сравнения с эталонным вариантом по следующим критериям:
• степень пересечения понятийного состава (K1);
• совпадение элементов текста, на которые падает логическое ударение и которые имеют более высокое значение (K2);
• противоположность заложенных в текстах идей (K3).
Текущая версия библиотеки учитывает не все критерии. Соответствие критериям определяется с помощью технологий машинного обучения doc2vec и LDA. Для тестирования работы библиотеки был собран корпус из 10 тыс. статей из области информационных технологий.
В дальнейшем планируется улучшение результатов работы библиотеки путем оптимизации используемых алгоритмов, сбора и применения специальных коллекций данных(словарей, тезаурусов).
В процессе выполнения был проведен критический анализ подходов и существующих решений по автоматизации оценки свободных ответов. По его результатам было решено, что корректность студенческого ответа будет определяться методом сравнения с эталонным вариантом по следующим критериям:
• степень пересечения понятийного состава (K1);
• совпадение элементов текста, на которые падает логическое ударение и которые имеют более высокое значение (K2);
• противоположность заложенных в текстах идей (K3).
Текущая версия библиотеки учитывает не все критерии. Соответствие критериям определяется с помощью технологий машинного обучения doc2vec и LDA. Для тестирования работы библиотеки был собран корпус из 10 тыс. статей из области информационных технологий.
В дальнейшем планируется улучшение результатов работы библиотеки путем оптимизации используемых алгоритмов, сбора и применения специальных коллекций данных(словарей, тезаурусов).
ИЛИ
Поиск аналога
📕 Список литературы
🛒 Оформить заказ
⚡ Работу высылаем в течении 5 минут после оплаты.