ВВЕДЕНИЕ 3
1. СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ АДАПТИВНОГО
ТЕСТИРОВАНИЯ 5
1.1. МОДЕЛЬ АДАПТИВНОГО ТЕСТИРОВАНИЯ НА ОСНОВЕ
КОНЕЧНЫХ АВТОМАТОВ 5
1.2. НЕЧЕТКИЕ МНОЖЕСТВА 6
1.3. СОВРЕМЕННАЯ ТЕОРИЯ ТЕСТИРОВАНИЯ КАК ОСНОВНОЙ
МЕТОД РЕАЛИЗАЦИИ АДАПТИВНЫХ ТЕСТОВ 8
1.3.1. ОДНОПАРАМЕТРИЧЕСКАЯ МОДЕЛЬ РАША 9
1.3.2. ДВУХПАРАМЕТРИЧЕСКАЯ МОДЕЛЬ БИРНБАУМА 11
1.3.3. ТРЕХПАРАМЕТРИЧЕСКАЯ МОДЕЛЬ БИРНБАУМА 13
1.3.4.ОГРАНИЧЕНИЯ ПРИ РЕАЛИЗАЦИИ ITEM RESPONSE THEORY 14
2. СИСТЕМЫ АДАПТИВНОГО ТЕСТИРОВАНИЯ. АНАЛОГИ 16
3. РАЗРАБОТКА КОНЦЕПЦИИ МЕХАНИЗМА ПОДДЕРЖКИ
АДАПТИВНОГО ТЕСТИРОВАНИЯ 18
3.1. ОПИСАНИЕ СИСТЕМЫ 18
3.2. ГЕНЕРАЦИЯ БАНКА ЗАДАНИЙ 21
3.3. НАКОПЛЕНИЕ ОПЫТА ДЛЯ ОЦЕНКИ ПАРАМЕТРОВ ЗАДАНИЙ . 26
3.4. РЕАЛИЗАЦИЯ СЕРВИСА АДАПТИВНОГО ТЕСТИРОВАНИЯ 28
4. РАБОТА СЕРВИСОВ С ТЕСТОВЫМИ ДАННЫМИ 31
ЗАКЛЮЧЕНИЕ 32
ЛИТЕРАТУРА
ПРИЛОЖЕНИЕ
В настоящее время для оценки уровня знаний обучающихся наиболее широко применяется классическая теория тестирования - метод тестирования, при котором конечный балл испытуемого зависит от количества правильных ответов и общего числа заданий. В ряде работ [1-4] отмечается ее ограниченность. Такие показатели, как сложность вопроса и уровень подготовленности испытуемого, игнорируются при тестировании, что приводит к менее точному результату. В случае, когда действительный уровень знаний испытуемого не соответствует степени сложности теста, невозможно достоверно определить уровень подготовленности испытуемого [1].
Данную проблему решает компьютерное адаптивное тестирование (CAT - Computer Adaptive Testing). В процессе проверки уровня знаний с помощью компьютерных адаптивных тестов для испытуемого каждый следующий вопрос подбирается на основе его ответов на предыдущие вопросы [5, 6].
Уже несколько десятилетий разрабатывается и внедряется современная теория тестирования (Item Response Theory, IRT) [2] для реализации компьютерного адаптивного тестирования [7], представляющая собой набор методов, который позволяет оценить вероятность правильного ответа испытуемого на задания определенной трудности. В США в некоторых системах тестирования, таких как GRE (Graduate Record Examination) [8] и TOEFL (тест по английскому языку как иностранному) [9], современная теория тестирования используется для оценки уровня знаний студентов [3].
В процессе изучения работ [3, 4, 10] были выявлены причины, по которым не осуществляется широкое внедрение методов адаптивного тестирования в сферу образования. Основная проблема заключается в том, что создание и поддержка адаптивных тестов - процесс более сложный и затратный, чем случае с классическими тестами, и включает в себя следующие задачи [4]:
• Создание большого количество заданий для одного теста (как правило, более 1000). Поскольку в процессе тестирования из пула - набора заданий
для тестов - выбираются вопросы, которые соответствуют определенному уровню знаний, их должно быть как можно больше для обеспечения соответствующей точности измерений;
• При добавлении новых заданий (также как и для имеющихся) требуется калибровка - процесс оценки сложности заданий и совершенствования точности такой оценки [10];
• Задания, которые слабо влияют на результат, должны по мере идентификации регулярно удаляться из банка заданий, поскольку они могут привести к ошибкам в оценке знаний испытуемых.
Цель данной работы - разработка информационной системы, которая решает вышеупомянутые проблемы и упрощает внедрение адаптивного тестирования в сферу образования.
В последующих главах будут рассмотрены методы генерации тестовых заданий, а также разработанные сервис, реализующий классическое тестирование для сбора данных, и сервис для создания адаптивных тестов на основе полученных данных и полученного банка заданий.
Были проанализированы основные методы адаптивного тестирования, в том числе современная теория тестирования (Item Response Theory) и ее преимущество перед другими подходами. Были рассмотрены основные сложности при ее реализации и предложено возможное решение.
В рамках работы были проанализированы аналоги - приложения для создания тестов на основе Item Response Theory. Были выявлены недостатки данных систем с целью их последующей ликвидации.
В ходе разработки программных средств поддержки адаптивного тестирования в парадигме Item Response Theory были решены следующие задачи:
• разработана микросервисная архитектура системы для возможности последующего использования сервисов в рамках других систем;
• разработан сервис генерации банка заданий для обеспечения их необходимого количества для создания тестов с высокой точностью;
• разработан сервис классического тестирования с целью накопления опыта для вычисления параметров заданий, используемых в Item Response Theory;
• разработан сервис, реализующий Item Response Theory, который предоставляет возможность для создания и прохождения адаптивных тестов.
Все сервисы предоставляют API и реализуют протокол REST.
Результаты данной работы были представлены на конференции “Электронная Казань 2019” и опубликованы в статье [53]. Работа доступна в открытом доступе по ссылке http://gititis.kpfu.ru/Nurullina/adaptive-testing-system.
