Контроль знаний обучающихся является важным прикладным направлением в образовании в современную информационную эру, которая характеризуется возрастающим с каждым днем объемом создаваемой человечеством информации и активными научными исследованиями во множестве новых трансдисциплинарных направлений. Как следствие, возникает необходимость частичной автоматизации и компьютеризации процесса контроля знаний в виде систем электронного образования.
Область компьютерной обработки информации можно также охарактеризовать развитием науки о данных (data science), позволяющей производить статистическое исследование больших объемов информации и получать аналитические выводы. Интеграция такой обработки информации в систему электронного образования позволяет более полно оценивать уровень знаний обучающихся и адаптировать образовательный курс к этому уровню.
Существует множество вариантов реализации системы электронного образования в виде веб-приложений и веб-сайтов: онлайн курсы, включающие мультимедиа материалы, видео лекций, дистанционные семинары (вебинары). Одним из важнейших преимуществ таких систем является доступ с любого устройства, где есть дисплей и подключение к интернету. Преимущества данных систем давно взяты на вооружение крупными компаниями, заинтересованными в повышении квалификации своих сотрудников. Конкретными примерами этих систем могут служить такие ресурсы как Microsoft Virtual Academy, Khan Academy, Global Online Academy, Open University, Coursera, Udemy, Udacity.
Была разработана многокомпонентная система контроля знаний, реализующая автоматическую генерацию вопросов, создание ветвящихся тестов, адаптацию тестов к возможностям тестируемого, анализ естественно-языковых ответов. Однако очевидна необходимость дальнейшего развития и тестирования системы в реальных условиях.
Исходя из результатов экспериментов над генерацией вопросов можно сделать вывод, что также необходимо более тщательно проработать структуру базы данных для поддержки большего числа шаблонов и типов вопросов. Общее направление дальнейшей модификации базы данных — обеспечение обратной, совместимости для ставших классическими онтологических схем предметной области.
Некоторый анализатор естественного языка можно также внедрить в «Редактор онтологии» как вспомогательный визуальный инструмент, позволяющий сразу выделить из текста необходимые для словаря элементы и, возможно, отношения между ними. Это существенно облегчит работу эксперта по заполнению базы знаний.
Также стоит отметить, что хотя многие вопросы были содержательными, то есть правильными семантически, были ошибки в морфологии субъектов вопроса, поскольку морфология зависит от преобразующего метода. Для решения этой проблемы необходимо интегрировать в систему возможность использования существующих словарей и языковых корпусов для получения наиболее правильного морфологического представления слов в вопросах.
Алгоритм адаптации работает достаточно быстро, однако скорость работы зависит от сложности структуры теста. Поэтому можно предусмотреть метод настройки алгоритма, который бы вычислял необходимую начальную конфигурацию, а для улучшения результатов алгоритм можно запускать в нескольких потоках, либо итеративно совершать несколько применений алгоритма к тесту до достижения необходимого результата.
Структура данных теста представлена всегда в виде дерева, которое удобно для реализации алгоритмов над тестом, но содержит увеличивающие длительность обхода по дереву дублирующиеся данные в случае, когда из нескольких узлов ребра сходятся в эквивалентные ветви дерева. Это стандартный случай теста, в котором после некоторых вопросов происходит развилка, далее соединяющаяся в общий линейный поток вопросов. Поэтому можно дублировать дерево теста в виде эквивалентного графа, уменьшив таким образом затраты по производительности за счет несущественного увеличения затрат по памяти.
Исходя из намеченных подзадач можно сделать вывод об основном направления для дальнейшего исследования и разработки. Оно включает наполнение базы шаблонов как для генератора вопросов, так и для анализатора ответов, модификация анализатора вместе с возможной реструктуризации базы знаний предметной области по необходимости. Для этого необходимо провести тестирование работы системы в реальных рабочих условиях. Потому планируется создание электронного образовательного ресурса для преподавателей, в который можно будет заносить курсы по учебному плану и использовать систему со студентами, таким образом получая прямые отзывы пользователей и рекомендации по улучшению системы.
1. Сулейманов Д.Ш. Системы и информационные технологии обработки естественно-языковых текстов на основе прагматически-ориентированных лингвистических моделей. // Диссертация на соискание ученой степени доктора технических наук. Казань 2000
2. Moodle - Open-source learning platform | Moodle.org[Электронный ресурс] - Ре-жим доступа: moodle.org- (Дата обращения: 13.10.2016).
3. Net-testing: программа для проверки знаний - аттестация, тестирование, прове-дение экзаменов [Электронный ресурс] - Режим доступа: www.net-testing.ru— (Дата обращения: 13.10.2016).
4. ТСЕхат [Электронный ресурс] - Режим доступа: www.tcexam.org- (Дата об-ращения: 14.10.2016).
* __
5. Exam Software Test Engine [Электронный ресурс] - Режим доступа: www.exam- software.com- (Дата обращения: 14.10.2016).
6. Exam Creation, Administration &Assessment Software - ExamSoft [Электронный ресурс] - Режим доступа: learn.examsoft.com- (Дата обращения: 14.10.2016).
7. Open Source Assessment Platform - TAO Testing Homepage [Электронный ресурс] - Режим доступа: www.taotesting.com- (Дата обращения: 15.10.2016).
8. Казаков И. А., Манцивода А. В. Базы данных как онтологии И Известия Иркутского государственного университета, серия «Математика» 2011. Т. 4, №1. С. 20 — 30.
9. Anuradha Gali, Cindy X. Chen, Kajal T. Claypool, Rosario Uceda-Sosa From Ontol-ogy to Relational Databases // Department of Computer Science, University of Massachu-setts,
10. Paea Le Pendu, DejingDou, Gwen A. Frishkoff, Jiawei Rong Ontology Database: A New Method for Semantic Modeling and an Application to Brainwave Data // SSDBM 2008, Lecture Notes in Computer Science 5069, pp. 313-330, 2008.
11. Stephane Jean, Hondjack Dehainsala, Dung Nguyen Xuan, Guy Pierra, Ladjel Bel- latreche, Yamine Ait-Ameur OntoDB: It Is Time to Embed Your Domain Ontology in Your Database // DASFAA 2007, Lecture Notes in Computer Science 4443, pp. 1119-1122, 2007.
12. Naveed Ajzal, Ruslan Mitkov Automatic generation of multiple choice questions using dependency-based semantic relations // Soft Computing, A Fusion of Foundations, Methodologies and Applications, Springer-Verlag Berlin Heidelberg, 2013.
13. Weiming Wang, Hanyang Hao, Wenyin Liu Automatic Question Generation for Learning Evaluation in Medicine // Advances in Web Based Learning -ICWL 2007. Lecture Notes in Computer Science. Volume 4823, 2008, pp 242-251.
14. A. Papasalouros, K. Kanaris, K. Kotis Automatic Generation Of Multiple Choice Questions From Domain Ontologies // E-Learning Conference. Amsterdam, The Netherlands, 2008, pp. 427-434.
15. Кручинин В.В., Морозова Ю.В. Модели генераторов вопросов для компьютер-ного контроля знаний // Открытое и дистанционное образование. 2004. № 2. С. 52- 62.
16. Vasile Rus, Zhiqiang Cai, Arthur C. Graesser Experiments on Generating Questions About Facts // CICLing 2007, Lecture Notes in Computer Science 4394, pp. 444-455, 2007.
17. Yamven Wu, Zhenghong Wu, Yan Li, JinlingLi Generating Personalized Answers by Constructing a Question Situation // ICMLC 2005, Lecture Notes in Artificial Intelligence 3930, pp. 731-739,2006.
18. Shao Ming-zhu, Li Wei-feng, Du Jing-yi The Research and Implementation of Tech-nology of Generating Test Paper Based on Genetic Algorithm H Intelligence Computation and Evolutionary Computation, AISC 180, pp. 657-663.
19. Mehmet Yddirim Heuristic Optimization Methods for Generating Test from a Ques-tion Bank ПMICAI2007, Lecture Notes in Artificial Intelligence 4827, pp. 1218-1229, 2007.
20. Xiumin Chen A Fast and Efficient Algorithm for Intelligent Test Paper Generating // Practical Applications of Intelligent Systems, AISC 124, pp. 231-236.
21. Соловьев А.А. Синтаксические и семантические модели и алгоритмы в задаче вопрос-ответного поиска. И Материалы всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» - RCDL’2011, Воронеж, Россия, 2011.
22. Климов, А.В. Разработка методов семантического анализа текстов при тестировании знаний человека // Материалы 51-ой международной студенческой конференции: «Студент и научно-технический прогресс», Новосибирский гос. Ун-т. Новосибирск, 2013. - С. 227.
23. Соловьев А.А. Кто виноват и где собака зарыта? Метод валидации ответов на основе неточного сравнения семантических графов в вопросно-ответной системе. II Труды Российского семинара по оценке методов тнформационного поиска РОМИП- 201. г. Казань, 2010.
24. Шелман А, О. Исследование методов автоматического анализа текстов и разработка интегрированной системы семантико-синтаксического анализа // Диссертация на соискание ученой степени кандидата технических наук. Москва 2015.
25. Карпова И.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах. // Диссертация на соискание ученой степени кандидата технических наук. Москва 2002.
26. Черепанова Ю.Ю. Контроль знаний с ответами на естественном языке И Восточно-европейский журнал передовых технологий 4/2 (40) 2009.
27. The Porter Stemming Algorithm [Электронный ресурс] - Режим доступа: https://tartarus.org/martin/PorterStemmer/- (Дата обращения: 12.02.2017).
28. The Newick tree format [Электронный ресурс] - Режим доступа: http://evolution.genetics.washington.edu/phylip/newicktree.html- (Дата обращения: 09.12.2016).