Обеспечение валидности тестовых материалов в обучении английскому языку посредством автоматизированного анализа
|
Введение 3
Глава 1 Теоретические основы оценки сложности текстовой информации 7
1.1 Сложность текста как лингвистическое понятие 7
1.2 Стандартные формулы оценки сложности текстовой информации 27
1.3 Оценка сложности текста при помощи инструментария Coh-Metrix 36
Выводы по Главе 1 40
Глава 2 Практическое использование Coh-Metrix для анализа текстовых учебных материалов 43
2.1 Цели, задачи, этапы организации опытно-экспериментальной работы .. 43
2.2 Особенности работы ПО Coh-Metrix при анализе текстовых материалов 48
2.3 Экспериментальное модифицирование текстов при помощи специализированного ПО 59
Выводы по главе 2 73
Заключение 76
Список литературы 79
Приложение 87
Глава 1 Теоретические основы оценки сложности текстовой информации 7
1.1 Сложность текста как лингвистическое понятие 7
1.2 Стандартные формулы оценки сложности текстовой информации 27
1.3 Оценка сложности текста при помощи инструментария Coh-Metrix 36
Выводы по Главе 1 40
Глава 2 Практическое использование Coh-Metrix для анализа текстовых учебных материалов 43
2.1 Цели, задачи, этапы организации опытно-экспериментальной работы .. 43
2.2 Особенности работы ПО Coh-Metrix при анализе текстовых материалов 48
2.3 Экспериментальное модифицирование текстов при помощи специализированного ПО 59
Выводы по главе 2 73
Заключение 76
Список литературы 79
Приложение 87
Несмотря на широкое использование мультимедиа технологий, текст остается одним из основных видов хранения и передачи информации. Разработка эффективных подходов к обработке текстов с целью фильтрации, формирования смыслового портрета, навигации по базе текстов является одним из наиболее актуальных направлений современных информационных технологий. В условиях глобализации образования все чаще встает вопрос о необходимости стандартизации его процессов, требуемой для обеспечения валидности получаемых результатов. Используемые в качестве образовательного материала тексты проходят недостаточный анализ на предмет сложности для чтения и понимания. Результатом становится неравные условия, в которые помещаются обучающиеся при обучении и проверке их языковых умений и навыков. В виду вышесказанного актуальность изучения данной проблемы особенно высока.
Данная тематика рассматривалась как отечественными, так и зарубежными учеными-исследователями: Карпов Н. В., Оборнева И. В., Солнышкина М. И.Усталов Д. А., Филипова А. М., Callan J, Chall J.S., Chissom B.S., Collins-Thompson K., Flesch R., Kincaid J.P., Mcnamara T., Rogers R.L., Schwarm S.E.
Возникает противоречие между необходимостью обеспечения валидности результатов обучения английскому языку и отсутствием процедур, позволяющих корректно оценивать текстовые учебные материалы.
Проблема исследования заключается в вопросе о том, какие характеристики текста следует подвергнуть анализу и при помощи каких средств данный анализ следует проводить для получения достоверных данных об уровне сложности текста для чтения и понимания обучающимися.
Целью исследования являются разработка рекомендаций, позволяющих осуществлять анализ учебного англоязычного текста при помощи программного обеспечения с целью получения достоверных данных, на основе которых можно проводить оценку сложности текста и обеспечить валидность учебных материалов.
Объектом исследования является лингвистические параметры учебного англоязычного текста.
Предметом исследования является оценка сложности текста, создаваемой его параметрами.
Гипотеза исследования предполагает, что использование автоматизированных программных средств позволит обеспечить получение объективной информации о параметрах текста, на основе которой возможно корректное определение сложности текста для чтения и понимания.
Задачи исследования
1. Осветить и систематизировать основные направления в науке, посвященные определению сложности текста;
2. Разработать рекомендации по проведению анализа текста при помощи автоматизированного программного обеспечения;
3. Внедрить разработанные рекомендации в процесс обучения английскому языку с целью выявить и доказать валидность применения нового подхода в оценке уровня сложности текста.
Научная новизна исследования заключается в применении новых методов оценки сложности текста при помощи программного обеспечения, учитывающего ранее не подвергавшиеся анализу параметры учебного англоязычного текста.
Теоретическая значимость исследования:
- Выявлены и экспериментально проверены параметры текста, влияющие на трудность восприятия и сложность текста как речевой единицы;
- Модернизированы требования к списку анализируемых параметров текстов, используемых в обучении и тестированию иностранным языкам;
- Разработаны рекомендации сравнительного анализа учебных англоязычных текстов на предмет сложности.
Практическая значимость исследования. Результаты данного исследования возможно интегрировать в процесс обучения иностранным языкам на всех уровнях с целью обеспечения валидности текстовых учебных материалов. Результаты исследования могут стать компонентом отечественной автоматизированной системы оценки сложности текстов на английском и русском языках;
Для решения поставленных задач применялись следующие методы:
1. анализ научной и научно-методической литературы;
2. педагогический эксперимент (констатирующий и формирующий);
Методы и методологии исследования:
- изучение научно-исследовательских работ отечественных и зарубежных ученых-исследователей (описательно-аналитический метод исследования);
- выдвижение гипотезы исследования (гипотетико-дедуктивный метод исследования);
- определение параметров текстов и контрастивный анализ
параметров посредством программного обеспечения;
- модификация текстов с целью получения текстов с заданной сложностью;
- интеграция экспериментального тестового материала в процесс обручения (эксперимент).
Апробация работы. Результаты проведенного исследования были представлены на международной научно-практической конференции «Русский язык и литература в тюркоязычном мире: современные концепции и технологии» (Казань, 2016), на 15 международной молодежной научно¬исследовательской конференции имени Каюма Насыри (Казань, 2017). По теме диссертации опубликовано 3 печатные статьи, в числе которых 2 статьи в журналах, рекомендованных ВАК, и 3 статьи в журналах, индексируемых в базе данных РИНЦ.
Структура работы состоит из введения, главы 1, главы 2, заключения, библиографии.
Данная тематика рассматривалась как отечественными, так и зарубежными учеными-исследователями: Карпов Н. В., Оборнева И. В., Солнышкина М. И.Усталов Д. А., Филипова А. М., Callan J, Chall J.S., Chissom B.S., Collins-Thompson K., Flesch R., Kincaid J.P., Mcnamara T., Rogers R.L., Schwarm S.E.
Возникает противоречие между необходимостью обеспечения валидности результатов обучения английскому языку и отсутствием процедур, позволяющих корректно оценивать текстовые учебные материалы.
Проблема исследования заключается в вопросе о том, какие характеристики текста следует подвергнуть анализу и при помощи каких средств данный анализ следует проводить для получения достоверных данных об уровне сложности текста для чтения и понимания обучающимися.
Целью исследования являются разработка рекомендаций, позволяющих осуществлять анализ учебного англоязычного текста при помощи программного обеспечения с целью получения достоверных данных, на основе которых можно проводить оценку сложности текста и обеспечить валидность учебных материалов.
Объектом исследования является лингвистические параметры учебного англоязычного текста.
Предметом исследования является оценка сложности текста, создаваемой его параметрами.
Гипотеза исследования предполагает, что использование автоматизированных программных средств позволит обеспечить получение объективной информации о параметрах текста, на основе которой возможно корректное определение сложности текста для чтения и понимания.
Задачи исследования
1. Осветить и систематизировать основные направления в науке, посвященные определению сложности текста;
2. Разработать рекомендации по проведению анализа текста при помощи автоматизированного программного обеспечения;
3. Внедрить разработанные рекомендации в процесс обучения английскому языку с целью выявить и доказать валидность применения нового подхода в оценке уровня сложности текста.
Научная новизна исследования заключается в применении новых методов оценки сложности текста при помощи программного обеспечения, учитывающего ранее не подвергавшиеся анализу параметры учебного англоязычного текста.
Теоретическая значимость исследования:
- Выявлены и экспериментально проверены параметры текста, влияющие на трудность восприятия и сложность текста как речевой единицы;
- Модернизированы требования к списку анализируемых параметров текстов, используемых в обучении и тестированию иностранным языкам;
- Разработаны рекомендации сравнительного анализа учебных англоязычных текстов на предмет сложности.
Практическая значимость исследования. Результаты данного исследования возможно интегрировать в процесс обучения иностранным языкам на всех уровнях с целью обеспечения валидности текстовых учебных материалов. Результаты исследования могут стать компонентом отечественной автоматизированной системы оценки сложности текстов на английском и русском языках;
Для решения поставленных задач применялись следующие методы:
1. анализ научной и научно-методической литературы;
2. педагогический эксперимент (констатирующий и формирующий);
Методы и методологии исследования:
- изучение научно-исследовательских работ отечественных и зарубежных ученых-исследователей (описательно-аналитический метод исследования);
- выдвижение гипотезы исследования (гипотетико-дедуктивный метод исследования);
- определение параметров текстов и контрастивный анализ
параметров посредством программного обеспечения;
- модификация текстов с целью получения текстов с заданной сложностью;
- интеграция экспериментального тестового материала в процесс обручения (эксперимент).
Апробация работы. Результаты проведенного исследования были представлены на международной научно-практической конференции «Русский язык и литература в тюркоязычном мире: современные концепции и технологии» (Казань, 2016), на 15 международной молодежной научно¬исследовательской конференции имени Каюма Насыри (Казань, 2017). По теме диссертации опубликовано 3 печатные статьи, в числе которых 2 статьи в журналах, рекомендованных ВАК, и 3 статьи в журналах, индексируемых в базе данных РИНЦ.
Структура работы состоит из введения, главы 1, главы 2, заключения, библиографии.
В данном исследовании была произведена попытка осветить современное состояние лингвистики по вопросам оценки сложности текстовых материалов. Было обнаружено существенное различие в аутентичных текстах и текстах разработанных или адаптированных для использования в обучении. Данный факт приводит к выводу о необходимости корректной оценки текстовых материалов на предмет сложности. Анализ научной литературы привел к выводу о доминирующем положении стандартных формул удобочитаемости, измеряющих исключительно статистические характеристики текста и не учитывающих иные формы воздействия на читателя. Разработчики учебных материалов изменяют количественные характеристики в целях повышения или понижения сложности того или иного текстового материала. Существующую структурный подход ориентируется на необходимость включения в материалы определенных грамматических структур и лексики, не учитывая их влияния на сложность текста. Интуитивный подход, основанный на сочетании опыта составителя текстов и базовых инструкциях по содержанию также не способен стать полноценным решением, в виду человеческого фактора.
Зарубежными специалистами был разработан иной подход, основанный на учете ранее игнорируемых аспектов. Данный подход основан на главенстве таких понятий как целостность и связность, позволяющих оценивать текстовую информацию с точки зрения когнитивных процессов читателя, что позволяет включить в число параметров такие меры измерения как абстрактность слов, синтаксическая простота, референциальная связность, глубинная связность и повествовательная характеристика.
Изучение работ по продвинутому анализу сложности текстов привел к выводу о необходимости внедрения в процесс автоматизированного программного обеспечения, способного обрабатывать большие массивы данных при помощи методов машинного обучения. Разработка эффективных подходов к обработке текстов с целью анализа и модификации была осуществлена зарубежными специалистами. Результатом работы стала система Coh-Metrix, включающая в себя наработки множества других направлений в когнитивной лингвистике. Данный инструмент позволил решить возникшее в ходе исследования противоречие противоречие между необходимостью обеспечения валидности результатов обучения и отсутствием процедур, позволяющих корректно оценивать текстовые учебные материалы.
Посредством программного обеспечение нами была предпринята попытка ответить на вопрос какие характеристики текста следует подвергнуть анализу и при помощи каких средств данный анализ следует проводить для получения достоверных данных об уровне сложности текста. Эксперименты проводимые с текстами УМК Spolight 11 позволили понять принцип работы ПО и показали взаимосвязи характеристик англоязычного текста в единой структуре связности и целостности. Результаты были проанализированы, на их основе, согласно гипотезе исследования, были выработаны рекомендации по модифицированию текстовых материалов с использованием онлайн интерфейса T.E.R.A инструмента Coh-Metrix.
В целях выявления эффективности разработанных нами рекомендаций нами был проведен педагогический эксперимент в виде системы обеспечения экспериментального обучения, осуществляемой согласно разработанным технологиям. Все данные полученные в ходе эксперимента были систематизированы в соответствие с общедидактическими принципами проведения экспериментальной педагогической работы. На основе проведенного экспериментального исследования мы может подтвердить эффективность применения нового метода в анализе и модифицировании англоязычных текстов, используемых в обучении. Нам удалось при помощи программного обеспечения T.E.R.A. добиться практического результата в снижении и увеличении сложности текстов с закономерным, повторяемым результатом. Разработанные рекомендации проявляют значимую эффективность при обеспечении валидности тестовых результатов с использованием текстовых материалов.
В ходе исследования нами бы выполнены все поставленные теоретические и практические задачи, результатом чего стало освещение и экспериментальное доказательство эффективности нового метода оценки сложности текста при помощи программного обеспечения.
Дальнейшие перспективы научного исследования заключается в попытке модернизировать требования к списку анализируемых характеристик текстов, используемых в обучении и тестированию иностранным языкам. Результаты исследования могу стать компонентом отечественной автоматизированной системы оценки сложности текстов на английском и русском языках. Самостоятельная ценность исследования заключается в возможности интегрирования рекомендаций по анализу и модификации текстов в процесс обучения иностранным языкам на всех уровнях с целью обеспечения валидности результатов.
Зарубежными специалистами был разработан иной подход, основанный на учете ранее игнорируемых аспектов. Данный подход основан на главенстве таких понятий как целостность и связность, позволяющих оценивать текстовую информацию с точки зрения когнитивных процессов читателя, что позволяет включить в число параметров такие меры измерения как абстрактность слов, синтаксическая простота, референциальная связность, глубинная связность и повествовательная характеристика.
Изучение работ по продвинутому анализу сложности текстов привел к выводу о необходимости внедрения в процесс автоматизированного программного обеспечения, способного обрабатывать большие массивы данных при помощи методов машинного обучения. Разработка эффективных подходов к обработке текстов с целью анализа и модификации была осуществлена зарубежными специалистами. Результатом работы стала система Coh-Metrix, включающая в себя наработки множества других направлений в когнитивной лингвистике. Данный инструмент позволил решить возникшее в ходе исследования противоречие противоречие между необходимостью обеспечения валидности результатов обучения и отсутствием процедур, позволяющих корректно оценивать текстовые учебные материалы.
Посредством программного обеспечение нами была предпринята попытка ответить на вопрос какие характеристики текста следует подвергнуть анализу и при помощи каких средств данный анализ следует проводить для получения достоверных данных об уровне сложности текста. Эксперименты проводимые с текстами УМК Spolight 11 позволили понять принцип работы ПО и показали взаимосвязи характеристик англоязычного текста в единой структуре связности и целостности. Результаты были проанализированы, на их основе, согласно гипотезе исследования, были выработаны рекомендации по модифицированию текстовых материалов с использованием онлайн интерфейса T.E.R.A инструмента Coh-Metrix.
В целях выявления эффективности разработанных нами рекомендаций нами был проведен педагогический эксперимент в виде системы обеспечения экспериментального обучения, осуществляемой согласно разработанным технологиям. Все данные полученные в ходе эксперимента были систематизированы в соответствие с общедидактическими принципами проведения экспериментальной педагогической работы. На основе проведенного экспериментального исследования мы может подтвердить эффективность применения нового метода в анализе и модифицировании англоязычных текстов, используемых в обучении. Нам удалось при помощи программного обеспечения T.E.R.A. добиться практического результата в снижении и увеличении сложности текстов с закономерным, повторяемым результатом. Разработанные рекомендации проявляют значимую эффективность при обеспечении валидности тестовых результатов с использованием текстовых материалов.
В ходе исследования нами бы выполнены все поставленные теоретические и практические задачи, результатом чего стало освещение и экспериментальное доказательство эффективности нового метода оценки сложности текста при помощи программного обеспечения.
Дальнейшие перспективы научного исследования заключается в попытке модернизировать требования к списку анализируемых характеристик текстов, используемых в обучении и тестированию иностранным языкам. Результаты исследования могу стать компонентом отечественной автоматизированной системы оценки сложности текстов на английском и русском языках. Самостоятельная ценность исследования заключается в возможности интегрирования рекомендаций по анализу и модификации текстов в процесс обучения иностранным языкам на всех уровнях с целью обеспечения валидности результатов.