1. Постановка задачи анализа результатов Всероссийских проверочных работ 7
1.1. Основные понятия и практическая значимость Всероссийских
проверочных работ 7
1.2. Описание процесса сбора и обработки данных 9
1.3. Постановка задачи 10
2. Предварительная обработка исходных данных 14
2.1. Методы предобработки данных 14
2.2. Описание и предобработка исходных данных 16
2.3. Сравнительный анализ и визуализация данных 20
3. Оценка качества образования и объективности результатов образовательных
организаций 27
3.1. Применение статистических методов 27
3.2. Практическое обоснование результатов исследования в предметной
области 29
Заключение 32
Литература 33
Приложение 35
РЕФЕРАТ
Тема выпускной квалификационной работы: Анализ, оценка и визуализация данных Всероссийских проверочных работ (на основе официальных данных Алтайского края).
Цель работы - провести анализ данных, позволяющий представить оценку уровня образовательных достижений по русскому языку и математике среди 5-7 классов для принятия управленческих решений в рамках региональной системы оценки качества образования в Алтайском Крае.
Объект исследования - данные Всероссийских проверочных работ в Алтайском крае.
Предмет исследования - анализ, оценка и визуализация данных Всероссийских проверочных работ по математике и русскому языку в 5-7 классах.
В результате исследования были решены следующие задачи: выполнена оценка качества образования и объективности результатов образовательных организаций; выявлены образовательные организации с завышенными и/или необъективными результатами в Алтайском крае; составлен технический отчет по проведению ВПР в 2020 году; разработаны вычислительные и графические методы для визуализации данных на языке программирования python.
Объем работы - 52 страниц печатного текста, количество рисунков - 9, таблиц - 10, приложений - 1, 18 использованных источников литературы.
Ключевые слова: Всероссийские проверочные работы, ВПР, анализ данных, визуализация данных.
Ежегодно в школах России проводится процедура в области оценки качества образования - Всероссийские проверочные работы (ВПР). Они необходимы для формирования единых ориентиров в оценке результатов обучения и подходов к оцениванию образовательных достижений обучающихся. Эти работы не влияют на достижения учеников, они необходимы для анализа данных о состоянии региональных и муниципальных систем образования.
Результаты ВПР используются для мониторинга ведения образовательных стандартов, продвижения единых ориентиров в оценивании уровня подготовки школьников, самодиагностики школ. Целью таких исследований является повышение эффективности системы оценки качества образования, что включает в себя улучшение качества развития образования, совершенствование образовательных программ и выявление проблем в знаниях учеников.
Данная система оценивания была введена в 2015 [17] году и
совершенствуется до сих пор, но также она имеет ряд таких проблем, как отсутствие полного контроля процесса проведения тестирования со стороны общественных наблюдателей, систем видеонаблюдении, а также не исключена помощь со стороны организаторов при проведении работ. Таким образом, нарушается объективность результатов многих школ - результаты тестирования завышены, либо не соответствуют школьным отметкам.
Помимо этого, последние годы проблема многообразия учебных программ привела к тому, что в образовательных организациях (ОО) по-разному преподают материал и упускают требования государственных образовательных стандартов. Кроме того, по результатам проведения Национального исследования качества образования фиксируется падение уровня подготовки школьников после 4 класса.
Цель работы - провести анализ данных, позволяющий представить оценку уровня образовательных достижений по русскому языку и математике среди 5-7 классов для принятия управленческих решений в рамках региональной системы оценки качества образования в Алтайском Крае.
Объект исследования - результаты Всероссийских проверочных работ в Алтайском крае.
Предмет исследования - анализ, оценка и визуализация данных Всероссийских проверочных работ по математике и русскому языку в 5-7 классах.
Практическая значимость исследования состоит в выявлении образовательных организаций с завышенными результатами относительно оценок учеников, что дает возможность провести в следующем году тщательный контроль школ, а также предоставить методологические материалы для выявленных образовательных организаций.
Полученные данные позволяют решать следующие задачи:
• проведение оценки качества образования и объективности результатов образовательных организаций;
• выявление образовательных организаций с завышенными и/или
необъективными результатами;
• описание на уровне региона предметных результатов, а также
универсальных действий для подготовки технических отчетов;
• разработка вычислительных и графических методов для визуализации данных.
Информационная база исследования: результаты Всероссийских проверочных работ по русскому языку и математике в Алтайском крае за 2020 год. Данные содержат в себе информацию об образовательной организации, числе учеников, отметке по школе и количестве баллов за каждое выполненное задание.
Методы исследования: методы и средства интеллектуального анализа данных, методы статистической обработки и визуализации данных.
В рамках исследования проверяется гипотезы:
• Гипотеза о заметном снижении качества подготовки в образовательных организациях Алтайского края от 5 к 7 классу по основным предметам (русскому языку и математике).
• Гипотеза о завышении оценок по ВПР относительно оценок по школе образовательными организациями (Результаты выполнения ВПР существенно выше средних результатов по региону, при этом образовательная организация не является лицеем или гимназией с углубленным изучением данных предметов).
Итоговый анализ данных позволяет предоставить содержательную информацию о результатах проведения Всероссийских проверочных работ как в целом по Алтайском краю, так и по отдельным образовательным организациям. Результаты анализа могут быть использованы специалистами отдела мониторинга и оценки качества образования в Алтайском крае для составления итоговых отчетов.
При написании работы были изучены различные методы и средства интеллектуального анализа данных, методы статистической обработки и визуализации данных.
В ходе работы были выполнены следующие задачи:
• рассмотрены распределения первичных баллов и их перевод в соответствующие отметки по шкале перевода;
• проведена оценка динамики изменения результатов учеников с 5 по 7 класс;
• определение факторы, оказавшие наибольшее влияние на результат предметной подготовки выпускников;
• выявлены образовательные организации, в которых результаты были завышены или необъективны;
• проведена оценка качества образования в Алтайском крае;
• разработаны вычислительные методы для проведения анализа и визуализации данных.
В перспективе развития данной работы планируется разработка собственных методов оценки качества образования, которые могут предоставить более детальную информацию о проведенных работах в последующих годах.
