ТЕХНОЛОГИЯ ОЦЕНИВАНИЯ СФОРМИРОВАННОСТИ ИНОЯЗЫЧНОЙ ЛЕКСИЧЕСКОЙ КОМПЕТЕНЦИИ СТУДЕНТОВ В ЦИФРОВОЙ СРЕДЕ ВУЗА
|
Аннотация
ВВЕДЕНИЕ 3
ГЛАВА 1 ТЕОРЕТИКО-МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ ОЦЕНИВАНИЯ СФОРМИРОВАННОСТИ ИНОЯЗЫЧНОЙ ЛЕКСИЧЕСКОЙ
КОМПЕТЕНЦИИ 11
1.1 Иноязычная лексическая компетенция как объект оценивания;
концептуальное определение конструкта 11
1.2 Методические подходы к оцениванию сформированности иноязычной
лексической компетенции; операциональное определение конструкта 24
1.3 Методология валидизации материалов оценивания сформированности
иноязычной лексической компетенции 36
Выводы по первой главе 50
ГЛАВА 2 ОПЫТНО-ЭКСПЕРИМЕНТАЛЬНАЯ ПРОВЕРКА
ЭФФЕКТИВНОСТИ ТЕХНОЛОГИИ ОЦЕНИВАНИЯ СФОРМИРОВАННОСТИ ИНОЯЗЫЧНОЙ ЛЕКСИЧЕСКОЙ
КОМПЕТЕНЦИИ В ЦИФРОВОЙ СРЕДЕ 52
2.1 Создание функциональной модели процесса оценивания ИЛК с учетом
факторов и условий образовательной среды 52
2.2 Анализ технологических возможностей компьютерных и мультимедийных средств оценивания иноязычной лексической компетенции
в цифровой среде ТГУ 64
2.3 Разработка оценочных материалов, апробация и анализ полученных
результатов 75
Выводы по второй главе 91
ЗАКЛЮЧЕНИЕ 93
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 98
ПРИЛОЖЕНИЯ 111
ВВЕДЕНИЕ 3
ГЛАВА 1 ТЕОРЕТИКО-МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ ОЦЕНИВАНИЯ СФОРМИРОВАННОСТИ ИНОЯЗЫЧНОЙ ЛЕКСИЧЕСКОЙ
КОМПЕТЕНЦИИ 11
1.1 Иноязычная лексическая компетенция как объект оценивания;
концептуальное определение конструкта 11
1.2 Методические подходы к оцениванию сформированности иноязычной
лексической компетенции; операциональное определение конструкта 24
1.3 Методология валидизации материалов оценивания сформированности
иноязычной лексической компетенции 36
Выводы по первой главе 50
ГЛАВА 2 ОПЫТНО-ЭКСПЕРИМЕНТАЛЬНАЯ ПРОВЕРКА
ЭФФЕКТИВНОСТИ ТЕХНОЛОГИИ ОЦЕНИВАНИЯ СФОРМИРОВАННОСТИ ИНОЯЗЫЧНОЙ ЛЕКСИЧЕСКОЙ
КОМПЕТЕНЦИИ В ЦИФРОВОЙ СРЕДЕ 52
2.1 Создание функциональной модели процесса оценивания ИЛК с учетом
факторов и условий образовательной среды 52
2.2 Анализ технологических возможностей компьютерных и мультимедийных средств оценивания иноязычной лексической компетенции
в цифровой среде ТГУ 64
2.3 Разработка оценочных материалов, апробация и анализ полученных
результатов 75
Выводы по второй главе 91
ЗАКЛЮЧЕНИЕ 93
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 98
ПРИЛОЖЕНИЯ 111
Целью данного диссертационного исследования была разработка и апробация технологии оценивания сформированности иноязычной лексической компетенции в условиях современной цифровой образовательной среды вуза. Актуальность поставленной цели подтверждается потребностью в методическом сопровождении контроля сформированности компетенций в условиях цифровой трансформации высшего образования и интенсивного внедрения современных информационных и телекоммуникационных технологий в учебный процесс. Помимо этого профессиональному сообществу необходимы практические решения для создания инструментов оценивания компетенций, соответствующих требованиям качества, валидности и надежности.
В ходе исследования была подтверждена заявленная гипотеза о достижении эффективности оценивания сформированности ИЛК в цифровой среде при условии адекватного определения конструкта оценивания, реализации процесса оценивания как системы управляемых процедур, рационального использования цифровых инструментов и соблюдения требований к качеству оценивания.
По итогам исследования можно сделать следующие выводы:
1. Конструкт оценивания сформированности ИЛК являет собой совокупность компонентов ИЛК (когнитивного, деятельностного, мотивационного и рефлексивно-оценочного), определенных для каждого компонента показателей и критериев сформированности, и детализации их в объектах контроля. Компоненты конструкта оценивания сформированности ИЛК (лексические знания, рецептивные и продуктивные лексические навыки, социокультурные знания и умения, лексические умения) операционально представлены в системе лексических заданий.
2. Выбор формы и содержания лексических заданий осуществляется с учетом образовательного контекста формирования ИЛК, целей, содержания и учебно-методического обеспечения процесса обучения, планируемых образовательных результатов и измерительного потенциала самих заданий. В нашем исследовании выбраны форматы тестовых заданий саморегистрации Yes/No (для проверки знания значения целевых лексических единиц), закрытые задания выбором ответа, закрытые задания на сопоставление множеств (для проверки лексических знаний и рецептивных лексических навыков) и открытые задания (для проверки лексических знаний, продуктивных лексических навыков и умений).
3. Оценивание сформированности ИЛК представляет собой поэтапный процесс, протекающий во времени, включающий в себя мероприятия входного, рубежного и итогового контроля и интеграцию результатов в единой системе оценивания (шкале). Подготовка и проведение каждого из мероприятий контроля предполагает выполнение взаимосвязанных процедур: планирования содержания оценивания, разработки оценочных материалов, проведения апробаций/оценочных мероприятий, анализа полученных результатов. Так, результаты диагностического тестирования используются для отбора заданий для тестов рубежного контроля, а результаты тестов рубежного контроля являются основанием для выбора содержания итогового оценивания. Улучшение характеристик оценочных средств осуществляется регулярно по итогам экспертизы и математико-статистической обработки результатов апробаций.
4. Средствами обеспечения качества оценивания служат комплекс критериев валидности (полнота представления конструкта в заданиях, адекватность реализации процедур оценивания, релевантность методик анализа результатов и качественные характеристики оценочных средств) и методы валидизации (разработка спецификации оценочных средств, содержательная экспертиза оценочных материалов, апробация и математико-статистическая проверка результатов оценочных мероприятий). Предложенные критерии и методы валидизации характеризуются практичностью, эффективностью и осуществимостью в условиях цифровой образовательной среды вуза.
5. Управляемость и воспроизводимость процедур оценивания сформированности ИЛК реализуется посредством определения и документирования процессов, функций, регламентирующих инструментов, ресурсов, средств, потоков информации и результатов выполнения процедур.
6. Цифровые инструменты и средства образовательной среды вуза являются важной частью ресурсного обеспечения процесса оценивания сформированности ИЛК, способствующего повышению его производительности и эффективности. LMS Moodle НИ ТГУ используется для выполнения таких задач, как создание, размещение и апробация тестовых заданий, проведение диагностических, рубежных и итоговых тестирований, сбор эмпирических данных и статистическая обработка результатов тестирований. Цифровая лингвистическая платформа English ProUni предоставляет возможности создания, размещения и апробации банка лексических тестовых заданий и сбора статистических данных о результатах обучения и успеваемости обучающихся. Внешние специализированные ресурсы используются для разработки открытых заданий (нейросетевые технологии генерации текстов) и измерения и анализа числовых показателей ответов на открытые задания (транскрибация, анализ лексического состава исследуемых речевых образцов). Общие ресурсы предоставляют возможности для коммуникации и дистанционного взаимодействия участников оценивания, информационно-методической поддержки и обеспечения информационной безопасности.
7. Необходимый объем работы по проведению эмпирической валидизации средств оценивания сформированности ИЛК включает в себя оценку распределения индивидуальных баллов испытуемых, исследование характеристик тестовых заданий, определение надежности, валидности оценочных средств и шкалирование результатов с применением методов описательной статистики, параметрического моделирования, однофакторного дисперсионного анализа, методов импликативного масштабирования и верификации статистических гипотез для зависимых выборок. Проведенная в
рамках опытно-экспериментальной проверки экспертиза подтвердила содержательную валидность оценочных материалов.
Математико-статистический анализ характеристик оценочных средств выявил высокую эффективность применения формата заданий саморегистрации Yes/No для проведения входного диагностического контроля и пригодность использования коэффициента Isdt для верификации ответов испытуемых. Апробация теста рубежного контроля продемонстрировала достаточную эффективность формата закрытых заданий на сопоставление множеств для измерения лексических знаний и рецептивных навыков, при этом низкие дифференцирующие свойства тестовых заданий с выбором ответа ставят вопрос о пересмотре содержания теста.
Апробация показала, что внедрение технологии оценивания сформированности ИЛК и ее эффективное практическое использование в учебном процессе требует соблюдения следующих условий:
- согласованность циклов разработки оценочных средств и процесса освоения иноязычной лексики, так как содержание оценивания сформированности ИЛК и порядок реализации процедур оценивания напрямую зависят от темпов и порядка освоения иноязычной лексики в рамках учебного процесса;
- наличие комплекса документации, регламентирующей содержание обучения, график освоения тем, конкретизация целей обучения и достигаемых образовательных результатов, как конституирующей основы для оценивания сформированности ИЛК;
- наличие механизмов координации деятельности всех участников процесса: преподавателей, разработчиков банка тестовых заданий, экспертов, администраторов и наблюдателей;
- квалификация и достаточная компетентность исполнителей в вопросах проведения эмпирической валидизации оценочных средств, так как не все необходимые методы математико-статистического анализа автоматизированы в функционале используемых инструментов цифровой среды.
В целом результаты апробации показали, что разработанные в рамках технологии оценочные материалы и предложенный методический инструментарий валидизации являются эффективным средством оценки сформированности ИЛК, учитывающим учебно-методические условия ее формирования и содержание обучения. В перспективе дальнейшего исследования предлагается расширить реализацию всех этапов исследования сформированности лексического компонента и включить также материалы оценивания продуктивной письменной речи, чтобы охватить все уровни образовательных результатов целевой компетенции. Кроме этого дальнейшее развитие заявленной проблематики мы видим в поиске альтернативных методов и инструментов верификации ответов испытуемых (например, при помощи измерения времени реакции на стимул и отслеживания положения глаз при выполнении заданий).
Результаты данного исследования могут быть использованы в качестве методического сопровождения различных мероприятий оценивания. □^рационализированные компоненты конструкта сформированности ИЛК и сопряженные с ними детализированные объекты контроля (Приложения А и Б) могут быть использованы как концептуальная основа для планирования содержания курса обучения, направленного на освоение иноязычной лексики. Предложенные критерии валидности (Приложение Г), методы валидизации и документированные процедуры могут применяться для обеспечения качества и объективности оценивания различной целевой направленности.
В ходе исследования была подтверждена заявленная гипотеза о достижении эффективности оценивания сформированности ИЛК в цифровой среде при условии адекватного определения конструкта оценивания, реализации процесса оценивания как системы управляемых процедур, рационального использования цифровых инструментов и соблюдения требований к качеству оценивания.
По итогам исследования можно сделать следующие выводы:
1. Конструкт оценивания сформированности ИЛК являет собой совокупность компонентов ИЛК (когнитивного, деятельностного, мотивационного и рефлексивно-оценочного), определенных для каждого компонента показателей и критериев сформированности, и детализации их в объектах контроля. Компоненты конструкта оценивания сформированности ИЛК (лексические знания, рецептивные и продуктивные лексические навыки, социокультурные знания и умения, лексические умения) операционально представлены в системе лексических заданий.
2. Выбор формы и содержания лексических заданий осуществляется с учетом образовательного контекста формирования ИЛК, целей, содержания и учебно-методического обеспечения процесса обучения, планируемых образовательных результатов и измерительного потенциала самих заданий. В нашем исследовании выбраны форматы тестовых заданий саморегистрации Yes/No (для проверки знания значения целевых лексических единиц), закрытые задания выбором ответа, закрытые задания на сопоставление множеств (для проверки лексических знаний и рецептивных лексических навыков) и открытые задания (для проверки лексических знаний, продуктивных лексических навыков и умений).
3. Оценивание сформированности ИЛК представляет собой поэтапный процесс, протекающий во времени, включающий в себя мероприятия входного, рубежного и итогового контроля и интеграцию результатов в единой системе оценивания (шкале). Подготовка и проведение каждого из мероприятий контроля предполагает выполнение взаимосвязанных процедур: планирования содержания оценивания, разработки оценочных материалов, проведения апробаций/оценочных мероприятий, анализа полученных результатов. Так, результаты диагностического тестирования используются для отбора заданий для тестов рубежного контроля, а результаты тестов рубежного контроля являются основанием для выбора содержания итогового оценивания. Улучшение характеристик оценочных средств осуществляется регулярно по итогам экспертизы и математико-статистической обработки результатов апробаций.
4. Средствами обеспечения качества оценивания служат комплекс критериев валидности (полнота представления конструкта в заданиях, адекватность реализации процедур оценивания, релевантность методик анализа результатов и качественные характеристики оценочных средств) и методы валидизации (разработка спецификации оценочных средств, содержательная экспертиза оценочных материалов, апробация и математико-статистическая проверка результатов оценочных мероприятий). Предложенные критерии и методы валидизации характеризуются практичностью, эффективностью и осуществимостью в условиях цифровой образовательной среды вуза.
5. Управляемость и воспроизводимость процедур оценивания сформированности ИЛК реализуется посредством определения и документирования процессов, функций, регламентирующих инструментов, ресурсов, средств, потоков информации и результатов выполнения процедур.
6. Цифровые инструменты и средства образовательной среды вуза являются важной частью ресурсного обеспечения процесса оценивания сформированности ИЛК, способствующего повышению его производительности и эффективности. LMS Moodle НИ ТГУ используется для выполнения таких задач, как создание, размещение и апробация тестовых заданий, проведение диагностических, рубежных и итоговых тестирований, сбор эмпирических данных и статистическая обработка результатов тестирований. Цифровая лингвистическая платформа English ProUni предоставляет возможности создания, размещения и апробации банка лексических тестовых заданий и сбора статистических данных о результатах обучения и успеваемости обучающихся. Внешние специализированные ресурсы используются для разработки открытых заданий (нейросетевые технологии генерации текстов) и измерения и анализа числовых показателей ответов на открытые задания (транскрибация, анализ лексического состава исследуемых речевых образцов). Общие ресурсы предоставляют возможности для коммуникации и дистанционного взаимодействия участников оценивания, информационно-методической поддержки и обеспечения информационной безопасности.
7. Необходимый объем работы по проведению эмпирической валидизации средств оценивания сформированности ИЛК включает в себя оценку распределения индивидуальных баллов испытуемых, исследование характеристик тестовых заданий, определение надежности, валидности оценочных средств и шкалирование результатов с применением методов описательной статистики, параметрического моделирования, однофакторного дисперсионного анализа, методов импликативного масштабирования и верификации статистических гипотез для зависимых выборок. Проведенная в
рамках опытно-экспериментальной проверки экспертиза подтвердила содержательную валидность оценочных материалов.
Математико-статистический анализ характеристик оценочных средств выявил высокую эффективность применения формата заданий саморегистрации Yes/No для проведения входного диагностического контроля и пригодность использования коэффициента Isdt для верификации ответов испытуемых. Апробация теста рубежного контроля продемонстрировала достаточную эффективность формата закрытых заданий на сопоставление множеств для измерения лексических знаний и рецептивных навыков, при этом низкие дифференцирующие свойства тестовых заданий с выбором ответа ставят вопрос о пересмотре содержания теста.
Апробация показала, что внедрение технологии оценивания сформированности ИЛК и ее эффективное практическое использование в учебном процессе требует соблюдения следующих условий:
- согласованность циклов разработки оценочных средств и процесса освоения иноязычной лексики, так как содержание оценивания сформированности ИЛК и порядок реализации процедур оценивания напрямую зависят от темпов и порядка освоения иноязычной лексики в рамках учебного процесса;
- наличие комплекса документации, регламентирующей содержание обучения, график освоения тем, конкретизация целей обучения и достигаемых образовательных результатов, как конституирующей основы для оценивания сформированности ИЛК;
- наличие механизмов координации деятельности всех участников процесса: преподавателей, разработчиков банка тестовых заданий, экспертов, администраторов и наблюдателей;
- квалификация и достаточная компетентность исполнителей в вопросах проведения эмпирической валидизации оценочных средств, так как не все необходимые методы математико-статистического анализа автоматизированы в функционале используемых инструментов цифровой среды.
В целом результаты апробации показали, что разработанные в рамках технологии оценочные материалы и предложенный методический инструментарий валидизации являются эффективным средством оценки сформированности ИЛК, учитывающим учебно-методические условия ее формирования и содержание обучения. В перспективе дальнейшего исследования предлагается расширить реализацию всех этапов исследования сформированности лексического компонента и включить также материалы оценивания продуктивной письменной речи, чтобы охватить все уровни образовательных результатов целевой компетенции. Кроме этого дальнейшее развитие заявленной проблематики мы видим в поиске альтернативных методов и инструментов верификации ответов испытуемых (например, при помощи измерения времени реакции на стимул и отслеживания положения глаз при выполнении заданий).
Результаты данного исследования могут быть использованы в качестве методического сопровождения различных мероприятий оценивания. □^рационализированные компоненты конструкта сформированности ИЛК и сопряженные с ними детализированные объекты контроля (Приложения А и Б) могут быть использованы как концептуальная основа для планирования содержания курса обучения, направленного на освоение иноязычной лексики. Предложенные критерии валидности (Приложение Г), методы валидизации и документированные процедуры могут применяться для обеспечения качества и объективности оценивания различной целевой направленности.
