ОГЛАВЛЕНИЕ
Введение 3
ГЛАВАХ. Теоретические основы изучения тестового конструкта «академическое чтение» (уровень в1) 11
1.1. Академическое чтение для обучаемых начальных курсов ВУЗов,
изучающих деловой иностранный язык 11
1.2.Осуществление контроля при проведении тестирования на уроках английского языка 19
1.3.Применение общеевропейской шкалы CEFR при оценке знаний и умений по академическому чтению на пороговом уровне 26
Выводы по первой главе 33
ГЛАВА 2.Спецификация текстов в заданиях по чтению в учебниках по деловому английскому 35
2.1. Спецификация заданий по чтению для академических
целей 35
2.2. Проведение количественного и лексического анализа текста на
материале учебника по деловому английскому 41
2.3. Выявление требуемых навыков для выполнения упражнений на
пороговом уровне на материале учебника по деловому английскому 52
Выводы по второй главе 84
Заключение 87
Библиография 91
Приложения 95
ПРИЛОЖЕНИЯ 95
С самого раннего детства люди уделяют огромное значение такому речевому навыку как чтение. Чтение - это рецептивный навык, который направлен на восприятие письменных текстов. Чтобы понимать прочитанное необходимо овладеть навыком в совершенстве с позиции читателя на родном языке.
Критерии уровня владения иностранным языком определяются CEFR (общеевропейские компетенции владения иностранным языком). В системе CEFR существуют 6 уровней, определяющие компетенции владения не родным языком. Уровням соответствуют буквенное значение с цифрой от А1 до С2. На 1 и 2 курсах неязыковых вузов имеет смысл подбирать учебники для порогового уровня владения языком. Согласно общеевропейской шкале CEFR для пользователя порогового уровня свойственно читать тексты любых типов без специальной тематики и понимать основной смысл текста, несмотря на наличие определенной незнакомой лексики. Понимание описания событий, чувств, намерений в письмах личного характера [23, с.69].
Актуальность исследования обеспечивается противоречиями на социально-педагогическом уровне - между возросшими требованиями к языковой подготовке студентов и низким уровнем сформированности у них умений, навыков, тактик и стратегий работы с академическими текстами;
на научно-теоретическом уровне — между низким уровнем осведомленности спецификации заданий и растущим темпом потребности умения создания тестовых заданий;
- на научно-методическом уровне —между необходимостью организации контроля проведения тестирования и не разработанностью научно-методических средств к формированию организации контроля.
Актуальность исследования определяется возможностью положительного влияния контроля на учебно-педагогический процесс. Проблемы контроля являются актуальными как для педагогической теории, так и для педагогической практики, так как повышение качества преподавания, обучения и содержания учебников и учебно-методических пособий с которыми необходимо работать преподавателям, напрямую связано с улучшением методики преподавания.
В настоящем исследовании под «тестовым конструктом» понимается объект языкового оценивания, «совокупность измеряемых характеристик в контексте лингводидактического тестирования, которые составляют суть измеряемого объекта контроля» [25,с.10].
Под «чтением для академических целей» имеется в виду чтение
текстовых материалов, подобранных в соответствии с целью тестирования, характеристиками испытуемого (возраст, пол и др.) и способностями
Гипотеза исследования сформулирована следующим образом: для валидной и надежной оценки уровня сформированности навыка чтения для академических целей необходимо разработать методику определения количественных параметров тестового конструкта и выявить адекватные способы реализации (операционализации) заданного конструкта
Объектом исследования данной работы является содержание и формат контроля чтения как самостоятельного вида речевой деятельности.
Предмет исследования составляют содержание тестового конструкта «чтение для академических целей» и определение характеристик чтения как измеряемого конструкта в контексте организации системы стандартизированного контроля в неязыковом вузе.
Источником материала явились следующие учебные пособия: учебник «New Market Leader Intermediate», «New Market Leader Teacher’s book».
Материалом исследования явились тексты для чтения и задания к ним из вышеуказанных учебников.
Цель исследования состоит в определении (не)соответствия между требуемыми и оцениваемыми требованиями умений на уровне B1, и требованиями как таковыми, представленными для студентов в учебниках. Исследование было направлено на оценивании тестовых заданий в учебнике по деловому английскому, на надёжность, объективность и валидность. Ведущей задачей исследования стал анализ конструкта по чтению.
К задачам данного исследования относятся:
1. Рассмотреть теоретические основы тестирования чтения как одной из форм контроля и привести в соответствие термины и понятия, используемые в отечественной и зарубежной практике тестирования
2. Выделить параметры и критерии анализа тестов по чтению для академических целей.
3. Проанализировать международные и отечественные экзамены с точки зрения реализации положений теории тестирования чтения как вида речевой деятельности, а также путей разработки тестового конструкта и способов его операционализации.
4. Проанализировать имеющиеся шкалы компетенций, применяемые в международной практике тестирования для измерения умений академического чтения, и выявить номенклатуру умений, соответствующую «пороговому уровню» Общеевропейских компетенций.
5. Выявить количественные параметры тестового конструкта «чтение для академических целей», соответствующие «пороговому уровню» Общеевропейских компетенций.
6. Определить спектр навыков академического чтения, формируемых и оцениваемых в рамках курса по деловому английскому.
Исследование проходило в несколько этапов:
Этап 1: Формирование теоретико-методологичекой базы исследования и понятия, используемые в отечественной и зарубежной практике тестирования
Этап 2: Выявление параметров и критериев анализа тестов по чтению для академических целей.
Этап 3: Анализ международных и отечественных экзаменов с точки зрения реализации положений теории тестирования чтения.
Этап 4: Анализ шкал компетенций для измерения умений академического чтения, Этап 5: Выявление количественных параметров тестового конструкта «чтение для академических целей» в учебниках New Market Leader Intermediate», «New Market Leader Teacher’s book»
Количественный анализ предполагает:
А) установление индексов по следующим параметрам: количество слогов, букв, слов, предложений и абзацев в текстах для чтения в учебниках New Market Leader Intermediate», «New Market Leader Teacher’s book» уровня B1
Б) Сопоставление количественных индексов с соответствующими индексами по Шкале общеевропейских компетенций уровня B1(минимальное, среднее и максимальное количество предложений в словах, средняя длина слова в буквах и слогах).
Этап 6: Лексический анализ изучаемых текстов и их частей предполагает следующее:
А) Концептуальный или фактуальный анализ. Концептуальная информация представляет мировоззрение писателя, его ощущения, замыслы, которые могут быть интерпретированы субъективно. Фактуальную информацию не сложно пересказать, так как данная информация представляет «ядро» повествования, она отражает явления действительности.
Б) Установление доли культурно-маркированных слов, специальных слов, объема необходимых экстралингвистических знаний, а также специальных знаний по предмету.
Этап 7. Выявление навыков академического чтения, формируемых и оцениваемых в рамках курса по деловому английскому
Методологическую основу исследования составили положения по:
• теории, психологии и методике обучения чтению (И.М. Берман, В.А. Бухбиндер, И.Н.Верещагина, И.А.Зимняя, Е.И. Пассов, З.И.Клычникова, Г.В. Рогова, Б.А.Лапидус, А.А. Леонтьев, Р.П. Мильруд, Е.Н.Соловова, С.К.
Фоломкина, Е. Bernhardt, M.A. Clarke, J. Coady, T. Duddley-Evans, M.J. St.John, R. Farr, F. Grellet, V. Just, P.A. Carpenter, J. Munby, C. Nuttall, и др.)
• лингвистике текста (Т.М. Дридзе, Л.И. Зильберман, О.Л. Каменская , Ю.А. Сорокин, З. Я. Тураева, К.Я. Филиппов, R. de Beaugrande, M. Bensoussan, P.L. Carrell, W. Kinsch, T.A. van Dijk, М.McCarthy, J.M.Swales и др).
• теории и практике тестирования (М.Б.Челышкова, В.А.Коккота,
М.В.Вербицкая, В.Н.Симкин, Е.Н.Соловова, CAlderson^. Clapham, L.F. Bachman, A.S.Palmer, С. Chapelle, A.D. Cohen, J.D. Brown, T. Hudson, M.Canale,
I. Chikalanga, D. Douglas, G.Fulcher, J.B.Heaton, A. Hughes, K. Koda, V.Ludo, J. de Jong, P. Mosenthal, J. W. Oller, E. Shohamy, M. Swain, S. Urquhart, C.Weir)
• теории и практике многоуровневого описания компетенций (В.В. Сафонова, И.Л.Бим, А.А. Миролюбов, C. Alderson, N. Jones, R.J. Tannenbaum, E.C. Wylie, R.L. Trammell, B.North, J.A. van Ek, J.L.M. Trim и др.)
Методы исследования: описательно-аналитический (сопоставительное изучение теоретических работ отечественных и зарубежных исследователей); гипотетико-дедуктивный (выдвижение рабочей гипотезы); экспериментальный (проектирование тестов, разработка, организация и проведение тестирования, анализ результатов); количественный анализ.
Для определения пригодности текста для использования его в создании теста устанавливается лексический минимум, т.е. те лексические единицы, которыми должны владеть учащиеся с определенным уровнем владения языком. Аналогичное требование справедливо и в отношении грамматического минимума. К такому минимуму относят грамматические структуры, подлежащие усвоению на определённом этапе. При разработке теста для измерения уровня сформированности навыка чтения, тестолог должен понимать цель тестировании, осуществлять отбор текстов и тестовых заданий, которые сделают тестовое измерение с максимально точной интерпретацией результатов [27, с.21]. В содержательном плане некоторые тексты могут быть более легкими для одной группы тестируемых в ущерб другой категории студентов. Основные требования и положения к текстовому материалу: подходящее содержание текста, читабельность и пригодность к использованию.
Выводы по научной работе определяются двумя вопросами: какие типы текста преобладают (вид, жанр текста и его объём), и какие задания к ним преобладают (сколько информации извлекается, и какая информация необходима для решения задания).
Научная новизна работы состоит в следующем:
1) впервые научно проверена методика определения количественных параметров тестового конструкта «чтение для академических целей» уровня В1. Данная методика разработана на основе сочетания отечественной и международной систем контроля коммуникативной компетенции
2) определена номенклатура заданий, нацеленных на оценивание навыка «академическое чтение», соответствующих специфике академического чтения уровня В1 Общеевропейских компетенций владения английским языком
3) Осуществлено описание количественных параметров заданий оценивания сформированности навыка чтения.
Теоретическая значимость исследования определяется тем, что предложена развернутая формулировка количественные показатели понятия «тестовый конструкт»; выявлены компоненты конструкта «чтение для академических целей»; выделены и систематизированы количественные показатели сложности текста и тестовых заданий.
Практическая значимость работы состоит в возможности применения результатов исследования при организации оценивании других учебников и соответствия контроля качества обучения чтению в системе разноуровневой подготовки по иностранному языку. Практическую значимость также имеет сводная таблица характеристик текстов, учитываемых при отборе материала для тестирования уровня сформированности умений академического чтения.
На защиту выносятся следующие положения:
1. Несмотря на то, что уровень В1(пороговый уровень) Общеевропейской шкалы уровней коммуникативной компетенции включает только умения работы с текстами в рамках повседневно-бытовой сферы общения, практика преподавания иностранных языков в российский неязыковых вузах показывает, что студенты - нефилологи на уровне В1 могут справляться с профессионально-ориентированными текстами, что дает основание расширить рамки номенклатуры умений в итоговом контроле, включив задания на контроль умений для работы с академическими текстами.
2. Разработанная в данном исследовании методика определения соответствия заданий по академическому чтению ориентирована на национальные образовательные стандарты третьего поколения и общеевропейские стандарты для уровня В1 Общеевропейской шкалы компетенций.
3. Правильное определение количественных параметров тестового конструкта является одним из условий надежности и валидности теста как формы контроля. Основу определения тестового конструкта «чтение для академических целей» составляет теоретически и эмпирически обоснованная совокупность количественных и качественных характеристик текста, используемого в тесте.
4. Совокупность факторов и характеристик, определяющих уровень сложности текстов, отбираемых для тестирования умений чтения в соответствии с заданным тестовым конструктом, включает: факторы содержания текста (тематика, функциональный стиль, жанр текста, его прагматическая функция, тип речи, регистр, сложность понятий, информационная насыщенность, плотность концепций); факторы структуры текста (глобальная и локальная связность); лингвистические факторы (синтаксические/ лексические трудности, аутентичность текста), статистические факторы (читабельность, т.е. сложность текста, вычисляемая по заданной формуле; соотношение знаменательных и служебных слов); длина текста, удобочитаемость (шрифт, цвет, расстояние между строчками и т.д.)
Структура работы соответствует логике научного исследования и состоит из введения, двух глав, заключения, списка литературы и приложений. Содержание диссертации изложено на 92 стр. Список литературы содержит свыше 50 работ отечественных и зарубежных авторов.
В основе проводимого исследования лежали тестовые задания порогового уровня, применимые на уроках английского языка в ИУЭиФ КФУ на 1 и 2 курсах.
Данные показали, что чем серьёзнее навык, тем меньше заданий к нему применяется. Нами были отобраны параметры оценивания академического чтения. Проведено исследование на нормы оценок успешности овладения иностранным языком. Нами изучались учебные упражнения на валидность, объективность, надёжность, а также на научность и на репрезентативность.
При проведении тестирования контроль может осуществлять не только в рамках организации контроля поведения обучаемых или проверке знаний обучаемых по предмету «иностранный язык», контроль также позволяет определить тестовый конструкт на материале учебников по английскому языку.
Современные тенденции учебных программ преднамеренно усиливают коммуникативный подход в обучении иностранным языкам. Контроль в своем большинстве направлен на материал по которому строится речь, на то чем пользуются преподаватели и ученики чтобы сделать образовательный процесс максимально эффективным. В этой связи мы делаем упор на установление параметров оценивания, на придание большего контроля материалу с которым работают учителя, на определение тестовых заданий на пригодность с учетом характеристик теста: валидности, надёжности и объективности.
Валидность означает, что пригодность теста должна быть для измерения именно того качества, на оценку которого он направлен. С английского языка «valid» переводится как действительный, имеющий законную силу. Валидность предполагает, что определённые задания направлены на оценивание уровня конкретных знаний человека в определённой сфере. Например, если упражнения направлены на проверку уровня сформированности знаний лексики в изученном тексте, то тест должен оценивать именно эти умения, а не знания текста в целом или овладение в совершенстве грамматическими конструкциями.
Объективность предполагает, что результаты тестирования не должны опираться на чьё-либо мнение. Это независимость оценки от личного мнения по поводу испытуемого[1,с.20].
Надежность - это степень точности и постоянства, с которой происходит процедура тестирования. Точность означает уровень совпадения результатов данного теста с показателями результатов другого теста, используемых для этой же цели, постоянство отражает устойчивость результатов при второй или третьей попытке оценивания знаний; стабильность результатов.
Валидность и надёжность теста тесно взаимосвязаны. Надежность имеет смысл, в том случае, если тест обладает валидностью, в ином случае будет измеряться умение, которое не подлежит цели тестирования. С другой стороны, если тест не обладает надежностью, нестабильно измеряет необходимое умение обучаемого, то степень его валидности значительно снижается.
Научность - это обоснованность теста научными исследованиями. В свою очередь репрезентативность отражает результаты тестирования в виде ранжирования уровней знания: высокий уровень, средний уровень или низкий уровень знаний. Репрезентативность проявляется в стандарте тестовых результатов, в его норме.
Тестирование предполагает так называемое понятие «угадывание». На самом деле нередки случаи, когда вполне безуспешные студенты, показывающие неудовлетворительные результаты на семестрах и семинарах, показывали блестящие результаты на тестировании. В связи с этим стоит вопрос о валидности и надёжности тестирования как одного из составляющих компонентов образовательного процесса в высших учебных заведениях.
Считается, что умение читать, писать и говорить в академической среде предполагает овладение обучаемым не только умениями и навыками характерными для письма, чтения и говорения, но и знаниями согласно своей будущей профессии. Основной целью тестирования по иностранному языку считается, определение навыков пользования языком для решения академических задач, а не его знания по другим предметам.
Преподавателям необходимо уметь составлять вопросы и задания к тесту, а также знать какие умения требуются от обучаемых для успешного выполнения заданий.
В качестве примера приведём ознакомительное чтение с его бально - рейтинговой системой.
Учащийся может получить «5», если он понял основное содержание оригинального текста, в состоянии найти основную мысль, определить главные факты, догадывается о значении неизвестных ему ранее слов из контекста, либо по словообразовательным элементам, либо по сходству с родным языком. Скорость чтения иноязычного текста может быть немного медленней по сравнению с той, с которой ученик читает на родном языке. Необходимо отметить, что скорость чтения на родном языке у всех учащихся индивидуальна.
Учащемуся ставится «4» в том случае, если он осознал основное содержание оригинального текста, может выделить основную мысль, определить конкретные факты. Тем не менее, у него плохо развита языковая догадка, и ученик не может понять некоторую незнакомую лексику, он вынужден чаще обращаться к билингвальному словарю, а темп чтения замедленен [9, с. 84].
Чтобы получить «3» обучаемому достаточно понять основное содержание всего сообщения, уметь выделять в тексте только небольшие важные идеи и будет очевидно, что у такого ученика совсем не развита языковая догадка.
Для того чтобы получить неудовлетворительную оценку, достаточно определить, что человек неправильно понимает всё содержание текста и не в состоянии найти в тексте запрашиваемую информацию, не умеет пользоваться словарём.
Проведение тестирования имеет большую роль в образовательном процессе в целом. Достаточно обратиться к основным функциям, которые выполняет тестирование.
Обучающая функция направлена на мотивацию и культивирование желания у обучаемых быть вовлечёнными в образовательный процесс.
Диагностическая функция выражается в оценивании умений, навыков и способностей у студентов. Данная функция проведения тестирования считается самой важной поскольку именно она даёт оценку возможностям и учебным достижениям обучаемого. С помощью данной функции преподаватель сможет решить для себя на каком уровне языковой компетентности находится обучаемый.
Воспитательная функция строится на правильном поведении обучаемых. Данная функция помогает дисциплинировать обучаемых, настроить их на учебный процесс.