ВВЕДЕНИЕ 4
1. КОМПЬЮТЕРНОЕ АДАПТИВНОЕ ТЕСТИРОВАНИЕ 7
1.1 Анализ методов адаптивного тестирования 10
1.1.1. Методы проведения тестирования 11
1.1.2. Методы оценивания результатов тестирования 13
1.1.3. Методы проверки результатов тестирования 14
1.1.4. Правила окончания тестирования 15
1.2. Классификация тестовых заданий и общие требования к ним 19
1.3. Постановка задачи 25
2. МАТЕМАТИЧЕСКИЙ АППАРАТ ЗАДАЧИ АДАПТИВНОГО
ТЕСТИРОВАНИЯ 28
2.1 Настройка сложности тестового вопроса 28
2.2 Организация адаптивного тестирования 32
2.3. Вычисление функции сложности теста и выставление оценки 35
3. РАЗРАБОТКА АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ 39
3.1. Разработка базы данных 39
3.2 Разработка windows-приложения 46
ЗАКЛЮЧЕНИЕ 56
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 58
ПРИЛОЖЕНИЕ
В условиях современной образовательной деятельности высших учебных заведений преподавателям затруднительно применять индивидуальный подход к каждому студенту, т.к. численность академической студенческой группы, в среднем, около 20 человек, а для применения индивидуального подхода группа обучающихся должна составлять около 5-7 человек. В настоящее время, одним из способов реализации индивидуально-ориентированного обучения в образовательных учреждениях является использование систем электронного обучения (СЭО), работающих на основе адаптивных алгоритмов, способных формировать индивидуальные образовательные траектории за счет учета расширенного набора параметров обучаемых (психофизиологических характеристик, уровня фундаментальных базовых знаний, механизмов адаптивного тестирования, специфики восприятия информации и т.д.).
В настоящее время дистанционное образование охватывает все более широкие массы учащихся. В этих условиях особую актуальность приобретает применение информационных технологий в сфере образования и, в частности, средств автоматизации контроля знаний студентов.
Преимущество адаптивного теста перед традиционной формой тестирования - его эффективность. Адаптивный тест может определить уровень знаний тестируемого с помощью меньшего количества вопросов. При выполнении одного и того же адаптивного теста тестируемые с высоким уровнем подготовки и тестируемые с низким уровнем подготовки увидят совершенно разные наборы вопросов: первый увидит большее число сложных вопросов, а последний - легких. Доли правильных ответов у обоих могут совпадать, но так как первый отвечал на более сложные вопросы, то он наберет большее количество баллов.
Одной из важнейших задач в области контроля знаний является автоматизация синтеза и оценки сложности тестовых заданий. В соответствии с этим, было принято решение по разработке автоматизированной системы адаптивного педагогического тестирования, являющейся средством генерации различного рода тестов из прикрепленных баз данных. Основным требованием к разработанной системе являлось ее интеллектуальность, достигающаяся за счет организации адаптивности процесса тестирования.
Актуальность темы магистерской работы характеризуется тенденцией применения индивидуально-ориентированных методик в образовательном процессе, что в свою очередь приводит к необходимости совершенствования алгоритмического обеспечения систем педагогического тестирования.
Целью работы является повышение эффективности образовательного процесса, посредством разработки и реализации метода синтеза и оценки сложности тестовых заданий и построения индивидуального сценария тестируемого.
Задачи:
• провести анализ существующих систем автоматизированного тестирования;
• разработать математический аппарат решения адаптивного тестирования;
• создать модель системы адаптивного тестирования, написать ее программную реализацию и обеспечить эффективность функционирования.
Магистерская работа состоит из введения, трех глав, заключения, используемой литературы и приложения.
В первой главе приводится анализ проблемы автоматизации педагогического тестирования, а также существующих систем электронного обучения, в ходе которого рассматриваются различные адаптивные технологии и методики, использующиеся в них.
Во второй главе диплома осуществляется разработка методики разбиения банка тестовых задания по уровням сложности, используя такой математический аппарат, как теория нечетких множеств Также одной из основных наработок является создание методики построения траектории тестируемого.
В третьей главе выпускной квалификационной работы рассматривается реализация автоматизированной системы адаптивного педагогического тестирования, основанной на созданных методиках магистерской работы.
В заключении подводятся итоги исследования, формируются окончательные выводы и рекомендации по применению разработанных алгоритмов.
Основной целью написания данной выпускной квалификационной работы является разработка автоматизированной системы адаптивного педагогического тестирования. В результате проделанной работе можно сказать, что цель полностью достигнута, а поставленные задачи решены:
• изучена специфика адаптивного тестирования;
• проанализированные методы автоматизации индивидуального тестирования;
• разработана собственная методика для решения задач автоматизированного тестирования;
• реализована модель автоматизированной системы адаптивного педагогического тестирования.
Результатом данной магистерской работы является
автоматизированная система адаптивного тестирования, разработанная для автоматизации построения индивидуального сценария тестируемого в зависимости от его ответов.
В первой главе был проведен анализ проблемы автоматизации педагогического тестирования, а также существующих систем электронного обучения, в ходе которого была разработана многопараметренная классификация различных адаптивных технологий и методик,
использующиеся в них.
Во второй главе диплома на основе теории нечетких множеств и теории автоматов была разработана методика решения задач адаптивного тестирования Также одной из основных наработок является создание методики построения траектории тестируемого.
В третьей главе выпускной квалификационной работы рассматривается реализация автоматизированной системы адаптивного педагогического тестирования, основанной на созданных методиках магистерской работы.
Внедрение разработанной автоматизированной системы адаптивного тестирования в каком-либо учебном заведении позволит наиболее эффективно вести контроль знаний и даст обучающимся возможность показать свои знания беспристрастно с удаче. Данная система позволяет оперативно просматривать результаты тестирования и формировать отчеты по ним, что приведет к сокращению времени.
В будущем возможна модернизация и расширение информационной системы. Например, разбиение банка тестов тематически. Ещё одним вариантов модернизации, получившейся методики и в дальнейшем системы, является представление оценок сложности динамически, т.е. в зависимости от правильного ответа тестируемого оценка по 10-бальной шкале может смещаться в сторону лёгкости и наоборот. При апробации и выработки конкретного алгоритма с высоким процентом отказоустойчивости планируется внедрение данной методики в рамках систем обучения университета.
1. Истоки экспериментальной психологии [Электронный ресурс]. - Режим доступа : http://www.effecton.ru/ 199.html.
2. Elena C. Papanastasiou Computer-adaptive testing in science education / [Электронный ресурс]. - Режим доступа : http://cblis.utc.sk/cblis-cd- old/2003/3.PartB/Papers/ Sci-ence_Ed/Testing-Assessment/Papanastasiou.pdf.
3. Катаев, А. В. Открытая модель игрока для оценки знаний и навыков в компьютерных обучающих играх /
А. В. Катаев, О. А. Шабалина // Известия Волгоградского государственного технического университета : межвуз. сб. науч. ст. № 9 (82) / ВолгГТУ. - Волгоград : ИУНЛ ВолгГТУ, 2011. - (Сер. Актуальные
проблемы управления, вычислительной техники и информатики в технических системах. Вып. 8). - C. 79-85.
4. Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N-J. Lawrence Erlbaum Ass., Publ. 1980. - 266 pp.
5. Зайцева, Л. В. Модели и методы адаптивного контроля знаний / Л. В. Зайцева, Н. О. Прокофьева // Educa
tional Technology & Society. - Nr.7(4), 2004 ISSN 14364522
(Международный электронный журнал) [Электронный ресурс]. - Режим доступа : http://ifets.ieee.org/russian/ depository/v7_i4/html/1.htm. - C. 265-277.
6. Андреев, А. Б. Экспертная система анализа знаний «Эксперт-ТС» / А. Б. Андреев, А. В. Акимов, Ю. Е. Усачев // Proceedings. IEEE International Conference on Advanced Learning Technologies (ICALT 2002). 9-12 September 2002. Kazan, Tatrstan, Russia, 2002. - С. 97-101.
7. Артемов, А. Модульно-рейтинговая система / А. Артемов, Н. Павлова, Т. Сидорова // Высшее образование в России. - 1999. - № 4. - С. 121¬125.
8. Galeev I., Sosnovsky S., Chepegin V. MONAP-II: the analysis of quality of the learning process model / I. Galeev, S. Sosnovsky, V. Chepegin // Proceedings. IEEE International Conference on Advanced Learning Technologies (ICALT 2002). 9-12 September 2002. Kazan, Tatrstan, Russia, 2002. -P. 116-120.
9. Грушецкий, С. В. Построение модели адаптивного тестирования с
использованием элементов теории графов / С. В. Грушецкий, И. Д. Рудинский // Труды XIV Международной конференции-выставки ИТ0-2004 / [Электронный ресурс]. - Режим доступа : http://sputnik.mto.ru/
Docs_41/Mat_edu_conf/doc/4617.html.
10. Комлев, В. В. Экономико-математические модели, структурно-параметрическая оптимизация и управление качеством технологий обучения: автореф. дис. на соиск. уч. степ. канд. экон. наук. Специальность 08.00.13 / В. В. Комлев. - Иваново, 2006. - 19 с.
11. Карпенко, А. П. Модельное обеспечение автоматизированных обучающих систем. Обзор / А. П. Карпенко // Наука и Образование. - 2011. - № 7.
12. Шабалина, О. А. Модель пользователя для изучения языков программирования в адаптивной обучающей системе / О. А. Шабалина // Вестник компьютерных и информационных технологий. - 2005. - № 2. - C. 36-39.
13. Шкиль, А. С. Методика оценивания в компьютерной системе тестирования знаний / А. С. Шкиль, С. В. Чу-маченко, С. В. Напрасник // Образование и виртуальность, 2002 : сб. науч. тр. 5-й Междунар. конф. - Харьков - Ялта : УАДО, 2003. - С. 340-345.
14. Лаптев, В. В. Учет времени при оценивании результатов автоматизированного контроля / В. В. Лаптев,
B. И. Сербин // Известия Волгоградского государственного технического университета : межвуз. сб. науч. ст. № 11 (71) / ВолгГТУ. - Волгоград : ИУНЛ ВолгГТУ, 2010. - (Сер. Актуальные проблемы управления, вычислительной техники и информатики в технических системах. Вып. 9). -C. 102-105.
15. Лаврухина, Н. А. Методы оценки качества тестов по результатам тестирования / Н. А. Лаврухина, Н. И. Абасова // Информационные технологии и проблемы математического моделирования сложных систем. - Иркутск : ИИТМ ИрГУПС, 2010. - Вып. 8. - С. 124-134.
16. Зайцева, Л. В. Разработка и применение автоматизированных обучающих систем на базе ЭВМ / Л. В. Зайцева, Л. П. Новицкий, В. А. Грибков ; под ред. Л. В. Ни-цецкого. - Рига : Зинатне, 1989. - 174 с.
17. Попов, Д. И. Способ оценки знаний в дистанционном обучении на основе нечетких отношений / Д. И. Попов // Дистанционное образование. - 2000. - № 6.
18. Zadeh L.A. Fuzzy set // Information and Control. - 1965. - Vol. 8. - P. 338 - 353.
19. Дюбуа Д., Прад А. Теория возможностей. Приложения к представлению знаний в информатике. - М.: Радио и связь, 1990. - 288 с.
20. Модели принятия решений на основе лингвистической переменной / А.Н. Борисов, А.В. Алексеев, О.А. Крумберг и др. - Рига: Зинатне, 1982. - 256 с.
21. Мелихов А.Н., Бернштейн Л.С., Коровин С.Я. Ситуационные советующие системы с нечеткой логикой. - М.: Наука, 1990. - 272 с.
22. Нечеткие множества в моделях управления и искусственного интеллекта / А.Н. Аверкин, И.З. Батыршин, А.Ф. Блишун, и др.; Под. ред. Д.А. Поспелова. - М.: Наука, 1986. - 312 с.