Введение 4
1 Проблематика автоматизации активного тестирования 9
1.1 Проблема оценки ответов для тестов математических выражений 9
1.2 Возможные способы реализации активных тестов посредством
функциональности систем тестирования современных СДО 11
1.3 Формирующее и итоговое оценивание 15
1.4 Постановка цели и задач исследования 18
Выводы по разделу 1 19
2 Разработка методологии активных математических тестов 21
2.1 Критерии активных математических тестов и разработка требований для
прототипа 21
2.2 Реализация принципа использования математического языка 25
2.3 Реализация принципа синтаксического анализа выражения 35
Выводы по разделу 2 51
3 Тестирование работы прототипа системы активных математических тестов 53
3.1 Описание процесса тестирования 53
3.2 Тестирование преобразования выражений в математическую форму 54
3.3 Тестирование преобразования и сравнения математических выражений 56
Выводы по разделу 3 59
Заключение 61
Список сокращений 62
Список использованных источников 63
ПРИЛОЖЕНИЕ А (Основное) Алгоритмы выполнения отдельных сложных
операций 66
ПРИЛОЖЕНИЕ Б (Основное) Листинги программ 68
Актуальность. Одним из направлений реформирования образования является обеспечение его непрерывности (в течение всей жизни человека) и индустриализации, т. е. повышение массовости без ухудшения качества. Основой этого является автоматизация процессов обучения на базе широкого применения информационных технологий.
Процесс обучения можно разделить на два подпроцесса: изучение учебного материала (получение знаний, умений, навыков) и контроль степени усвоения студентом (экзамены, зачёты, другие формы аттестации). Если подпроцесс изучения можно легко организовать без участия преподавателя (с помощью разнообразных учебных пособий), как это делается, например, при заочной форме обучения, то подпроцесс контроля автоматизировать более сложно, так как оценку степени усвоения материала трудно формализовать.
В основе любого процесса обучения, в большинстве случаев, лежит понятие дидактических единиц. Для этого понятия не существует нормативного определения, однако можно сказать, что это наименьшая неделимая часть учебного материала, которая должна быть усвоена обучающимся. Дидактические единицы могут быть сгруппированы по трём категориям:
- ДЕ знаний;
- ДЕ умений;
- ДЕ навыков.
Широко применяемые в настоящее время тесты предназначены главным образом для тестирования знаний. В большинстве случаев они представляют собой вопросы с предлагаемыми вариантами ответов, из которых следует выбрать правильный (или несколько правильных). Тестирование умений и навыков с по¬мощью существующих тестов сложно и не всегда возможно в принципе.
Особенно критичным является тестирование для проверки математических знаний. В этой области умение решить поставленную задачу или вывести
формулу гораздо важнее, чем просто выбрать правильный вариант ответа на вопрос. Поэтому тестирование умений и навыков в математике гораздо важнее тестирования знаний. Также необходимо понимать, что математические навыки важны не только в математике как таковой, но также и во многих других областях знаний, например, в физике, химии, электронике и т.д. Ограничение в тестах математических выражений, и, тем самым, ухудшение контроля степени усвоения студентом математических дисциплин приводит к ухудшению контроля степени усвоения зависимых от математики дисциплин. Поэтому актуальной является задача создания тестов, в работе с которыми тестируемый должен проявлять активность, демонстрируя умения и навыки.
С другой стороны, тесты в современных системах дистанционного обучения должны быть созданы преподавателем вручную. К примеру, в системе moo- dle, преподаватель должен сам определить количество тестов и написать вопросы к каждому из них, что делает этот процесс очень трудоемких с увеличением количества тестов.
Как уже было сказано выше, учебный материал может быть разделён на дидактические единицы. При этом, каждая ДЕ может быть элементарной, а может быть составной. Дидактические единицы из разных областей знаний связаны друг с другом различным способом, и эти связи можно отобразить в виде обычного графа. Это, в свою очередь, делает возможным использование соответствующих алгоритмов для того, чтобы разбить эти ДЕ на различные группы, которые могут представлять собой компетенции, дисциплины и т.д., а также открывает возможности для автоматической генерации тестов для какого-либо знания, умения или навыка. Таким образом, появляется возможность создавать целые наборы тестов для различных компетенций без прямого участия преподавателя, которому в такой системе достаточно будет проверить уже созданные тесты на корректность. Это определяют вторую актуальную задачу, суть которой заключается в автоматической генерации тестов и тем самым ускорение процесса тестирования обучающихся.
Предметом исследования является методология разработки и реализации системы активного тестирования математических выражений.
Объектом разработки являются методы для создания подсистемы тестирования успеваемости обучающихся в рамках системы автоматизированного управления учебным процессом.
Цель работы — разработка основ методологии разработки системы активного тестирования.
Задачи работы:
1 Изучить существующие решения для задач тестирования в системах дистанционного обучения.
2 Изучить математические пакеты и различные алгоритмы на предмет возможности преобразований математических функций.
3 Разработать прототип, способный создавать активные тесты на основе известных дидактических единиц.
4 Формализовать основные концепции и методы, которые были открыты в процессе разработки прототипа.
Основная идея работы заключается в том, чтобы определить и разработать методы, позволяющие проводить активное тестирование математических навыком обучающихся и разработать на их основе систему активного тестирования математических навыков и умений.
Методы, инструментальные средства и технологии разработки. Для разработки прототипа используется язык программирования Java совместно с математическим пакетом SciLab, разрабатываемое программное обеспечение базируется на платформе WEB, в основу положена RESTful-архитектура.
Научная новизна работы заключается в том, что:
- разработана методология автоматизации активного тестирования обучающихся на предмет владения навыками работы с математическими выражениями;
- разработаны архитектура, алгоритмы, определены основные подходы для их программной реализации и разработан соответствующий прототип си¬стемы активного тестирования;
- исследованы возможности применения программных математических пакетов для проведения тестирования обучающихся.
Значение для теории заключается в том, что разработанная методология активного тестирования математических выражений создаёт научно обоснованную базу для дальнейшего развития теории тестирования в части проверки правильности результатов тестирования.
Значение для практики заключается в том, что работа, прежде всего, направлена на создание методологического и алгоритмического обеспечения, призванного повысить эффективность создаваемых разработчиками модулей тестирования для систем дистанционного обучения.
Особенности работы заключаются в том, рассматривается возможность адаптации существующих решений из различных областей информатики для целей автоматизированного тестирования.
Личный вклад и сотрудничество. Все основные результаты получены лично автором. В работе в качестве исходных данных использовались материалы, полученные коллегами в рамках выполнения ими своих магистерских диссертаций.
В разделе 1 рассмотрена проблема автоматизации активного тестирования математических выражений, рассмотрены реализации систем тестирования в системах дистанционного обучения, выполнен литературный обзор по теме диссертации, сформулированы и обоснованы цель и задачи работы.
В разделе 2 Определены основные критерии, которыми должны обладать активные математические тесты, рассмотрены основные принципы, алгоритмы и инструменты, которые могут быть использованы для реализации этих критериев, приведено описание реализации, используемой в прототипе системы активного математического тестирования.
В разделе 3 содержится описание процесса тестирования разработанного прототипа с целью демонстрации его работы.
Список использованных источников содержит 23 наименования.
В приложении А приведены алгоритмы отдельных сложных операций.
В приложении Б приведены листинги программ, реализующих разработанные алгоритмы.
Использование результатов работы. Практическая составляющая работы в части разработанного программного обеспечения может быть использована в качестве основы для разработки системы активного математического тестирования, в том числе в качестве модуля системы дистанционного обучения.
Существующие автоматические математически тесты позволяют проверить знания тестируемого, но не его умения и навыки работы с математическими выражениями. Для более глубокого оценивания навыков тестируемого целесообразно использовать активные математические тесты. Такие тесты должны со¬ответствовать следующим критериям:
- тесты должны уметь отображать выражение математической форме;
- тесты должны уметь анализировать математические выражения, а не работать с ними как с обычным текстом;
- тесты должны уметь направлять тестируемого к верному решению.
Для реализации этих критериев в системах тестирования можно использовать существующие технологии, а также принципы лексического и синтаксического анализа, лежащие в основе работы различных компиляторов. Для изучения возможностей использования данных инструментов в методологии активного тестирования был разработан прототип системы тестирования, реализующий описанные критерии. В дальнейшем предполагается исследовать возможность применения различных алгоритмов рекомендаций для реализации последнего критерия активных математических тестов, а также развиваться методологию активного тестирования путём добавления новых критериев, увеличивающих эффективность активных математических тестов.
1 Мартыненко, Е. О. Тесты как элемент контура автоматического управления информационным процессом обучения / С. А. Бронов, А. С. Кацунова, И. К. Камилов, Б. Р. Хождаев, Д. С. Рогов, Д. С. Степанов, Д. С. Севостьянов, Е. О. Мартыненко // Информатизация образования и методика электронного обучения : материалы I Международной научной конференции в рамках IV Международного научно-образовательного форума «Человек, семья и общество: история и перспективы развития» (Красноярск, 27-30 сентября 2016 г.) // под общ. ред. М. В. Носкова. - Красноярск : Сиб. федер. ун-т, 2016. - С. 56¬60. - ISBN 978-5-7638-3559-5.
Использованные источники:
1 About ILIAS // ILIAS [Электронный ресурс]. - Режим доступа : http: //www.ilias.de/docu/goto_do cu_cat_580. html.
2 Cooper, K. Engineering a Compiler / K. Cooper, L. Torczon. - USA : Else¬vier, 2012. - 824 p.
3 Livne, N. L. Automated Error Analysis through Parsing Mathematical Expressions in Adaptive Online Learning / N. L. Livne, O. E. Livne, C. A. Wight. - Chesapeake : Association for the Advancement of Computing in Education, 2006. - 1325 p.
4 Palsberg, J. Modern Compiler Implementation in Java 2nd Edition / J. Pals- berg. - Cambridge : Cambridge University Press, 2002. - 548 з.
5 Question types // Moodle documentation [Электронный ресурс]. - Режим доступа: https://docs.moodle.org/29/en/Question_types
6 SAKAI [Электронный ресурс]. - Режим доступа:
https: //www.sakaiproj ect.org/
7 Walls, C. Spring Boot in Action / C. Walls. - NY : Manning Publications Compoany, 2016. - 264 c.
8 Аванесов, В.С. Композиции тестовых заданий / В.С. Аванесов. - Москва : Центр тестирования МО РФ, 2002. - 240 с.
9 Аванесов, В.С. Форма тестовых заданий : учебное пособие / В.С. Аванесов. - 2-е изд. - Москва : Центр Тестирования, 2005. - 155с.
10 Анисимова, Т. С. Статистические аспекты оценки качества тестов / Т.С. Анисимова, А. А. Маслак // Развитие методов и средств компьютерного тестирования. - Москва : МГУП, 2005. - С. 7-9.
11 Ахо, А. Структуры данных и алгоритмы / А. Ахо, Д. Хопкрофт, Д. Ульман. - Москва : Вильямс, 2016. - 400 с.
12 Гамма, Э. Приемы объектно-ориентированного проектирования. Паттерны проектирования / Э. Г амма, Р. Хелм, Р. Джонсон. - Санкт-Петербург : Питер, 2016. - 366 с.
13 Гурченков, А. А. Метод моделирования задач для организации автоматизированной проверки ответов студентов в системах управления обучением / А.А. Гурченков, Р.С. Спиридонов. - Москва : Наука и Образование. МГТУ им. Н.Э. Баумана, 2015. - 245 с.
14 Калугян, К.Х. Системы тестирования в вузе как инструмент управления учебным процессом / К.Х. Калугян. - Ростов-на-Дону, 1999. - 199 с.
15 Карданова, Е.Ю. Возможности пакета SPSS для статистической обработки результатов педагогического тестирования / Е.Ю. Карданова, Т.Ю. Карпова // Развитие системы тестирования в России : тезисы докладов III Всероссийской конференции. Ч. 2. - Москва : ЦТ МО России, 2001. - С. 63-64.
16 Ломовцева, Н. В. Контроль учебной деятельности в дистанционном обучении / Н. В. Ломовцева. // Экономика образования. - 2009. - №2. - С. 93¬94.
17 Основы конструирования компиляторов [Электронный ресурс]. - Режим доступа : http://citforum.ru/programming/theory/serebryakov/
18 Рудинский, И. Д. Принципы и технологии создания интегрированной автоматизированной системы контроля знаний // Информационные технологии в образовании и науке / И.Д. Рудинский, Э.М. Аскеров, М.А. Емелин, Н.А. Строилов. - Москва, 2006. - 20 с.
19 Углев, В. А. Обучающее компьютерное тестирование / В. А. Углев // Теоретические и прикладные вопросы современных информационных технологий. - Улан-Удэ : ВСГТУ, 2007. - 312 с.
20 Форта, Б. Регулярные выражения за 10 минут / Б. Форта. - Москва : Вильямс, 2017. - 192 с.
21 Фридл, Д. Регулярные выражения / Д. Фридл. - Санкт-Петербург : Питер, 2003. - 464 с.
22 Фримен, Э. Паттерны проектирования / Э. Фримен [и др.]. - Санкт- Петербург : Питер, 2013. - 656 с.
23 Хопкрофт, Д. Введение в теорию автоматов, языков и вычислений / Д. Хопкрофт, Р. Мотвани, Д. Ульман. - Москва : Вильямс, 2008. - 528 с.