Контроль знаний обучающихся является важным прикладным направлением в образовании в современную информационную эру, которая характеризуется возрастающим с каждым днем объемом создаваемой человечеством информации и активными научными исследованиями во множестве новых трансдисциплинарных направлений. Как следствие, возникает необходимость частичной автоматизации и компьютеризации процесса контроля знаний в виде систем электронного образования.
Область компьютерной обработки информации можно также охарактеризовать развитием науки о данных (data science), позволяющей производить статистическое исследование больших объемов информации и получать аналитические выводы. Интеграция такой обработки информации в систему электронного образования позволяет более полно оценивать уровень знаний обучающихся и адаптировать образовательный курс к этому уровню.
Существует множество вариантов реализации системы электронного образования в виде веб-приложений и веб-сайтов: онлайн курсы, включающие мультимедиа материалы, видео лекций, дистанционные семинары (вебинары). Одним из важнейших преимуществ таких систем является доступ с любого устройства, где есть дисплей и подключение к интернету. Преимущества данных систем давно взяты на вооружение крупными компаниями, заинтересованными в повышении квалификации своих сотрудников. Конкретными примерами этих систем могут служить такие ресурсы как Microsoft Virtual Academy, Khan Academy, Global Online Academy, Open University, Coursera, Udemy, Udacity.
Была разработана многокомпонентная система контроля знаний, реализующая автоматическую генерацию вопросов, создание ветвящихся тестов, адаптацию тестов к возможностям тестируемого, анализ естественно-языковых ответов. Однако очевидна необходимость дальнейшего развития и тестирования системы в реальных условиях.
Исходя из результатов экспериментов над генерацией вопросов можно сделать вывод, что также необходимо более тщательно проработать структуру базы данных для поддержки большего числа шаблонов и типов вопросов. Общее направление дальнейшей модификации базы данных — обеспечение обратной, совместимости для ставших классическими онтологических схем предметной области.
Некоторый анализатор естественного языка можно также внедрить в «Редактор онтологии» как вспомогательный визуальный инструмент, позволяющий сразу выделить из текста необходимые для словаря элементы и, возможно, отношения между ними. Это существенно облегчит работу эксперта по заполнению базы знаний.
Также стоит отметить, что хотя многие вопросы были содержательными, то есть правильными семантически, были ошибки в морфологии субъектов вопроса, поскольку морфология зависит от преобразующего метода. Для решения этой проблемы необходимо интегрировать в систему возможность использования существующих словарей и языковых корпусов для получения наиболее правильного морфологического представления слов в вопросах.
Алгоритм адаптации работает достаточно быстро, однако скорость работы зависит от сложности структуры теста. Поэтому можно предусмотреть метод настройки алгоритма, который бы вычислял необходимую начальную конфигурацию, а для улучшения результатов алгоритм можно запускать в нескольких потоках, либо итеративно совершать несколько применений алгоритма к тесту до достижения необходимого результата.
Структура данных теста представлена всегда в виде дерева, которое удобно для реализации алгоритмов над тестом, но содержит увеличивающие длительность обхода по дереву дублирующиеся данные в случае, когда из нескольких узлов ребра сходятся в эквивалентные ветви дерева. Это стандартный случай теста, в котором после некоторых вопросов происходит развилка, далее соединяющаяся в общий линейный поток вопросов. Поэтому можно дублировать дерево теста в виде эквивалентного графа, уменьшив таким образом затраты по производительности за счет несущественного увеличения затрат по памяти.
Исходя из намеченных подзадач можно сделать вывод об основном направления для дальнейшего исследования и разработки. Оно включает наполнение базы шаблонов как для генератора вопросов, так и для анализатора ответов, модификация анализатора вместе с возможной реструктуризации базы знаний предметной области по необходимости. Для этого необходимо провести тестирование работы системы в реальных рабочих условиях. Потому планируется создание электронного образовательного ресурса для преподавателей, в который можно будет заносить курсы по учебному плану и использовать систему со студентами, таким образом получая прямые отзывы пользователей и рекомендации по улучшению системы.
