Помощь студентам в учебе
ТЕКСТОВЫЕ ПРЕДИКТОРЫ ОБРАЩЕНИЯ К ИЗОБРАЖЕНИЮ ПРИ ВОСПРИЯТИИ УЧЕБНОГО ПОЛИКОДОВОГО ТЕКСТА: ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ
|
АННОТАЦИЯ 3
Введение 3
Глава 1. Поликодовый учебный текст как объект когнитивной обработки читателем ....12
1.1 Учебный текст как продукт образовательного дискурса 12
1.1.1 Текст как функциональная единица коммуникации 12
1.1.2 Учебный текст: содержание понятия и условия функционирования 14
1.2. Поликодовый учебный текст как объект восприятия 17
1.2.1 Поликодовый текст: проблема определения понятия и принципы организации 17
1.3 Поликодовый учебный текст, включающий вербальную и изобразительную составляющие: проблема восприятия и его исследования традиционными методами ....25
1.3.1 Проблема научного изучения восприятия текста 25
1.3.2 Проблема восприятия учебного текста в контексте результатов исследований
процессов восприятия текста 28
1.3.3 Проблема восприятия поликодового учебного текста в контексте проблемы
восприятия поликодового текста 30
Глава 2. Экспериментальное исследование 36
2.1 Базовые положения теории чтения, определяющие применение окулографического
метода при ее исследовании 36
2.2 Описание функциональных возможностей и технических характеристик
окулографического оборудования 39
2.3 Экспериментальное исследование 43
2.3.1 Эксперимент 1. Исследование процесса когнитивной обработки учебного
поликодового текста в аспекте влияния типа связи между вербальной и изобразительной составляющими на эффективность чтения 45
2.3.2 Эксперимент 2. Исследование процесса когнитивной обработки учебного
поликодового текста в аспекте наличия факторов регулирования обращение читателя к его изобразительной составляющей 57
Заключение 73
Список источников 75
ПРИЛОЖЕНИЕ 1 85
Введение 3
Глава 1. Поликодовый учебный текст как объект когнитивной обработки читателем ....12
1.1 Учебный текст как продукт образовательного дискурса 12
1.1.1 Текст как функциональная единица коммуникации 12
1.1.2 Учебный текст: содержание понятия и условия функционирования 14
1.2. Поликодовый учебный текст как объект восприятия 17
1.2.1 Поликодовый текст: проблема определения понятия и принципы организации 17
1.3 Поликодовый учебный текст, включающий вербальную и изобразительную составляющие: проблема восприятия и его исследования традиционными методами ....25
1.3.1 Проблема научного изучения восприятия текста 25
1.3.2 Проблема восприятия учебного текста в контексте результатов исследований
процессов восприятия текста 28
1.3.3 Проблема восприятия поликодового учебного текста в контексте проблемы
восприятия поликодового текста 30
Глава 2. Экспериментальное исследование 36
2.1 Базовые положения теории чтения, определяющие применение окулографического
метода при ее исследовании 36
2.2 Описание функциональных возможностей и технических характеристик
окулографического оборудования 39
2.3 Экспериментальное исследование 43
2.3.1 Эксперимент 1. Исследование процесса когнитивной обработки учебного
поликодового текста в аспекте влияния типа связи между вербальной и изобразительной составляющими на эффективность чтения 45
2.3.2 Эксперимент 2. Исследование процесса когнитивной обработки учебного
поликодового текста в аспекте наличия факторов регулирования обращение читателя к его изобразительной составляющей 57
Заключение 73
Список источников 75
ПРИЛОЖЕНИЕ 1 85
Данная работа посвящена исследованию роли изображения в когнитивной обработке поликодового учебного текста.
В настоящее время лингвистическая научная парадигма находится в фазе активного изменения, ориентированного, в первую очередь, на междисциплинарную интеграцию, позволяющую получать новые знания об устройстве речевой коммуникации. Данная работа реализует эти изменения, обращаясь при анализе процессов восприятия речи к методам психофизиологического анализа (с использованием специального оборудования).
В последние десятилетия в лингвистике и в психологии активно развиваются новые направления исследований, основанные на антропоцентрическом подходе к изучению языковых явлений, связанных с восприятием текста. Ученые-исследователи различных научных областей все чаще прибегают к использованию объективных методов (физиологические показатели состояния организма человека) оценки человеческого восприятия, используя субъективные методы (анкета, опрос, интроспекция) как вспомогательные. Данная работа также опирается на анализ экспериментальных данных, что определяет один из аспектов ее актуальности.
Развитие современного общества позволяет получать экспериментальные данные при использовании высокотехнологичного оборудования, к которому, в частности, относится оборудование для фиксации биологического ответа организма человека при его восприятии мира. При этом методы его применения в различных исследованиях, аналитика данных приборов в настоящее время активно разрабатывается. Его использование в исследовании, в частности - разработка методики анализа и интерпретации данных для получения научного результата также является актуальным.
Наиболее активно методы нейронаук в России применяются в прикладных маркетинговых [Старостина, 2015 и др.] и методикопедагогических [Дудко, 2020 и др.] исследованиях. Использование методов такого типа в собственно научных отечественных работах только начинается. Распространение методологии нейронаук во внешние исследовательские области проявляет активность в психологических исследованиях [Гусев, 2003, Демарева, 2015 и др.]. Использование методов такого типа в отечественных работах других исследовательских областей, в частности — в лингвистике [Резанова, 2016], только начинается.
Одной из таких областей является лингвистика, где, в основном, методы нейронаук применяются для анализа восприятия текста людьми с различными мозговыми дисфункциями [Лурия, 2009; Глухов, 2005, и др.]. Кроме того, текст становится объектом нейроисследований психологов [Демарева, 2015 и др.].
В отечественной лингвистике исследования с применением впециального оборудования немногочисленны [Миклашевский, 2017, Резанова, 2016,], но потребность в них высока в связи с предоставляемыми новыми возможностями исследования процессов восприятия вербальных единиц, в том числе — текстов. В настоящем исследовании реализуется использование нейрооборудования применительно к лингвистическому объекту, что также определяет его актуальность.
Его актуальность также определяется обращением к анализу восприятия текста - как конкретизация смещения общего исследовательского фокуса в сторону проблематики восприятия (ранее ученые в большей степени фокусировались на порождении текста), что является еще одним из аспектов актуальности работы, обеспеченным техническими возможностями.
Отдельным аспектом актуальности настоящего исследование является его направленность на выявление особенностей поведения человека в процессе чтения (под чтением понимается «процесс извлечения информации также из любой символьной системы» [Чтение, 2003, с.592], «сложный процесс, в котором непосредственное участие принимают высшие психические функции в части мышления» [Выготский, 2004, с. 100]).
Проблема восприятия текста активно ставится в рамках решения проблем психологии, медицины, педагогики, методики и др. В нашей работе данная проблема ставится в рамках анализа восприятия учебного текста, что определяет ее актуальность как вносящей вклад в развитие методической теории.
Еще один аспект актуальности данной работы определяется ее обращением к поликодовому тексту - как форме представления текста, активно востребованной в современном обществе. В данном исследовании мы обращаемся к проблемам извлечения информации из разных символьных систем в рамках реализации единой читательской интенции: к вербальной и изобразительной символьным системам, частотно взаимодействующих в образовательных практиках.
В работе мы проверяем следующие гипотезы.
Гипотеза 1. Поликодовый учебный текст, изобразительная составляющая которого содержательно связана с вербальной, имеет более высокий показатель эффективности чтения в сравнении с монокодовым (вербальным) и в сравнении с поликодовым, включающим оппозитивную (не связанную с вербальным по содержанию) изобразительную составляющую. Проверка данной гипотезы направлена на подтверждение результата, полученного в [Mason at al, 2013] на материале поликодового текста, вербальная составляющая которого реализована на итальянском языке.
Гипотеза 2. Структурно-содержательная организация вербальной составляющей поликодового учебного текста регулирует обращение читателя к его изобразительной составляющей.
В данном исследовании для обозначения одной из операционных единиц анализа мы вводим термин «текстовый предиктор». Под текстовым предиктором мы понимаем фрагмент вербального компонента поликодового текста, который потенциально ориентирует читателя на его связь с изображением.
Под текстовым предиктором в данной работе мы понимаем фрагмент вербального компонента поликодового текста, который потенциально ориентирует читателя на его связь с изображением. Мы предположили, что это единицы вербальной части текста, которые являются по своей семантике потенциально изобразительно визуализируемыми.
Объект —процесс когнитивной обработки поликодового учебного текста, включающего вербальную и изобразительную составляющие.
Под изобразительной составляющей понимается изображение на плоскости, созданное невербально-графическими средствами (рисунок) и включенное в поликодовый текст, что определяет единство его восприятия читателем в совокупности с другими его элементами (в данном случае - с элементами, созданными средствами вербально-графическими).
Рассматриваемый нами как объект восприятия читателем поликодовый текст обрабатывается через единый канал визуальной модельности.
Предмет - специфика установления связи между вербальным и изобразительным кодами поликодового текста в процессе его чтения
Цель - выявить результаты влияние характера связанности изображения и вербальной составляющей поликодового текста на извлечение информации из него, определить особенности вербальной составляющей поликодового текста, определяющие активизацию связи между изобразительным и вербальным компонентами в процессе его когнитивной обработки читателем.
Задачи:
1. Изучить основные научные концепции поликодового текста, в частности - включающего изобразительную и вербальную составляющие, в том числе - особенности вербально-изобразительных отношений в поликодовом тексте
2. Определить особенности учебного текста, оказывающие влияние на его восприятие читателем.
3. Проанализировать результаты окулографических исследований процесса чтения; определить на этом основании значимые для данного исследования языковые и окуломоторные аспекты его функционирования, выбрать окулографические методы для изучения восприятия учащимися поликодовых учебных текстов.
4. Разработать дизайн экспериментов, направленных на исследование когнитивной обработки респондентами поликодового учебного текста естественнонаучной тематики, включающий запись движения глаз (айтрекинг) и анкету, направленную на выявление эффективности прочтения текста.
5. Провести эксперименты, направленные на анализ процессов когнитивной обработки учебного поликодового текста.
6. Обработать результаты методами наблюдения, методами айтрекинговой аналитики и статистического моделирования; выявить результаты влияния характера связанности изображения и вербальной составляющей поликодового текста на извлечение информации из него.
7. Определить особенности вербальной составляющей поликодового текста, определяющие активизацию связи между изобразительным и вербальным компонентами в процессе его когнитивной обработки читателем
Новизна настоящего исследования заключается в том, что
(1) выявлены возможности использования окулографических методов для анализа восприятия учебного поликодового текста;
(2) проанализирована специфика когнитивной обработки русскоязычного учебного поликодового текста;
(3) осуществлялась проверка зависимости уровня эффективности восприятия учебного текста не только от наличия/отсутствия иллюстрации, но и от характера ее связи с ним;
(4) выявлена природа взаимовлияния разнокодовых составляющих текста, выявлены текстовые предикторы, ориентирующие читателя на связь с иллюстрацией.
(5) установлены текстовые показатели обращения к изображению.
Материалом для исследования послужили:
• Стимульный текст. Стимульный материал составили тексты из
учебника по анатомии для студентов-медиков [Сапин, 2010], содержащие детализированную специальную информацию, но не содержащие фрагментов, полное понимание которых невозможно без опоры на специализированные фоновые знания.
• Экспериментальные данные.
Нами было проведено два экспериментальных этапа, в каждом из которых были получены следующие типы данных.
1. Окулографические данные, данные анкет, полученные от 16 респондентов в возрасте от 18-24 лет, среди которых 8 мужчин и 8 женщин. Эксперимент был направлен на прочтение респондентами стимульных текстов и на ответы на вопросы по ним.
2. Окулографические данные, данные анкет, полученные от 20 респондентов в возрасте от 18-24 лет, среди которых 9 мужчин и 11 женщин. Эксперимент был направлен на прочтение респондентами стимульных текстов и на ответы на вопросы по ним.
Методы исследования:
1. Метод окулографии, позволяющий соотнести движения глаз читателя с когнитивными процессами, происходящими в его сознании при восприятии текстового материала. Данный метод был использован в качестве основного при исследовании особенностей процесса чтения учебного поликодового текста. В его рамках был применен: NTrend-ET500 - модуль видеоокулографии (айтрекер).
2. Метод анкетирования, реализованный при помощи анкеты, направленной на оценку уровня усвоения текстовой информации был использован для оценки результатов усвоения текстовой информации. При разработке анкеты были использованы принципы оценки эффективности чтения, разработанные в рамках Международной программе по оценке образовательных достижений обучающихся PISA [Кудряшова, 2023, PISA, 2020, Шайхелисламов, Волкова, 2019 и др.]. Вопросы анкеты были разработаны и обработаны на основании данных принципов и их адаптации к целям исследования.
3. Методы (1) контекстуально-семантического анализа текста, включающего приемы контекстуального анализа и компонентного анализа; (2) социолингвистического анализа, направленного на обоснование специфики языка социальной сферой существования текста, (3) сравнительносопоставительный метод (сопоставление разных стимульных текстов и экспериментальных данных разных групп участников эксперимента) были использованы для разработки стимульного материала для экспериментов, а также для оценки их результатов.
4. Методы окулографической аналитики (данные, прошедшие предобработку айтрекером) использовались для оценки результатов эксперимента. Анализируемыми айтрекинговыми данными стали: фиксации и саккады (и их графическая репрезентация в виде сканпасса), прогрессивные и регрессивные саккады, среднее время пребывания в зоне интереса, показатель субъективной сложности текста (вычислялась путем деления количества регрессивных саккад на общее количество фиксаций, где фиксацией является сосредоточение взгляда пользователем на участках текстовых материалов).
5. Методы статистического моделирования использовались для анализа данных результатов окулографических экспериментов. Использование данных методов позволяет говорить об объективном характере зависимостей между двумя и более переменными.
Теоретическая значимость данной работы определяется её вкладом в развитие окулографических исследований процесса чтения, в частности - чтения учебного поликодового текста. Кроме того, работа вносит вклад в развитие концепции поликодового текста, формирование методологии лингвистического исследования с использованием окулографических данных, в теорию восприятия текста.
Практическая значимость результатов исследования заключается в научном обосновании использования изображений для иллюстрирования учебных текстов.
Теоретические основы исследования
Проблема связи текста и изображения в отечественной и зарубежной лингвистике достаточно широко описана. Особенно подробно рассмотрены виды связи между изображением и вербальной составляющей - как компонентами единого поликодового текста, обладающего свойством текстуальности (Е.Е. Анисимова, О.В. Власова, Л. Барден, В.М. Березин и др.), а также его коммуникативные функции (М.А. Ищук, Ю. А. Сорокин, Е.Ф. Тарасов и др.); кроме того, представлен целый ряд типологий поликодового текста - по разным основаниям (Е.Е. Анисимова, А. А. Бернацкая, М.В. Ворошилова, О.В. Пойманова и др.). Отдельно следует отметить исследования, рассматривающие поликодовый текст в аспекте его восприятия (Ю.Г. Алексеев, Л.В. Головина, Н.И. Жинкин, А.А. Леонтьев и др.), и особенно - с использованием специального оборудования, позволяющего по-особому зафиксировать процесс когнитивной деятельности читателя поликодового текста (Mason, Tornatora,&Pluchino, W. D. Marslen-Wilson, A. Pollatsek, K. Rastle, K. I. Forster, A. Frost, и др.). Теоретическую основу исследования также составили работы исследователей, изучающих специфику учебного текста: (Курьянович, А. В., Карасик В. И., Сабинина А.А., Тубалова И.В., Рудикова Ю.Ю., и др.).
Однако проблема восприятия учебного поликодового текста на русском языке при этом оказалась практически обойденной исследовательским вниманием.
Апробация результатов исследования
1. Гарина А.В. Влияние изображения на восприятие учебного текста: пилотное экспериментальное исследование / науч. рук.: И.В. Тубалова // Актуальные проблемы лингвистики и литературоведения: сборник материалов X (XXIV) Международной научно-практической конференции молодых ученых (13-15 апреля 2023 г.). Вып. 24. Томск: Издательство Томского государственного университета, 2023. С. 180-184.
2. Гарина А.В. XI (XXV) Международная научно-практическая конференция молодых учёных «Актуальные проблемы лингвистики и литературоведения» 18-20 апреля 2024 г. Пленарный доклад «Текстовые предикторы обращения к изображению при восприятии учебного поликодового текста: экспериментальное исследование»
3. Garina A.V. the X Summer Neurolinguistics School on the topic of “Eye-tracking in the lab and beyond”, organized by the Center for Language and Brain (HSE University, Moscow) 18-20 September 2023. Oral presentation «THE STUDY OF THE PERCEPTION OF AN EDUCATIONAL TEXT WITH IMAGES OF DIFFERENT TYPES: PILOT EXPERIMENTAL STUDY»
Структура работы. Магистерская диссертация состоит из введения, двух глав, заключения, списка использованной литературы и приложений.
Во Введении характеризуются объект и предмет исследования, описываются задачи исследования, обосновывается актуальность обращения к данной теме.
В первой (теоретической) главе рассматривается понятие учебного поликодового текста и исследуется характер его взаимодействия с иллюстрацией. Описывается место учебного поликодового текста в образовательном дискурсе, обсуждается место метода видеоокулографии в исследованиях процесса чтения. Приводится описание метода статистической обработки айтрекинговых данных.
Во второй (практической) главе описаны планирование, создание и проведение двух этапов экспериментального исследования и анализа результатов. Первый этап эксперимента направлена на выявление особенностей когнитивной обработки поликодового учебного текста, определяемых наличием/отсутствием его связанности с иллюстрацией. Второй эксперимент дополняет первый и описывает состав предикторов обращения к иллюстрации.
В Заключении представлены основные выводы работы и описаны перспективы дальнейших исследований.
В настоящее время лингвистическая научная парадигма находится в фазе активного изменения, ориентированного, в первую очередь, на междисциплинарную интеграцию, позволяющую получать новые знания об устройстве речевой коммуникации. Данная работа реализует эти изменения, обращаясь при анализе процессов восприятия речи к методам психофизиологического анализа (с использованием специального оборудования).
В последние десятилетия в лингвистике и в психологии активно развиваются новые направления исследований, основанные на антропоцентрическом подходе к изучению языковых явлений, связанных с восприятием текста. Ученые-исследователи различных научных областей все чаще прибегают к использованию объективных методов (физиологические показатели состояния организма человека) оценки человеческого восприятия, используя субъективные методы (анкета, опрос, интроспекция) как вспомогательные. Данная работа также опирается на анализ экспериментальных данных, что определяет один из аспектов ее актуальности.
Развитие современного общества позволяет получать экспериментальные данные при использовании высокотехнологичного оборудования, к которому, в частности, относится оборудование для фиксации биологического ответа организма человека при его восприятии мира. При этом методы его применения в различных исследованиях, аналитика данных приборов в настоящее время активно разрабатывается. Его использование в исследовании, в частности - разработка методики анализа и интерпретации данных для получения научного результата также является актуальным.
Наиболее активно методы нейронаук в России применяются в прикладных маркетинговых [Старостина, 2015 и др.] и методикопедагогических [Дудко, 2020 и др.] исследованиях. Использование методов такого типа в собственно научных отечественных работах только начинается. Распространение методологии нейронаук во внешние исследовательские области проявляет активность в психологических исследованиях [Гусев, 2003, Демарева, 2015 и др.]. Использование методов такого типа в отечественных работах других исследовательских областей, в частности — в лингвистике [Резанова, 2016], только начинается.
Одной из таких областей является лингвистика, где, в основном, методы нейронаук применяются для анализа восприятия текста людьми с различными мозговыми дисфункциями [Лурия, 2009; Глухов, 2005, и др.]. Кроме того, текст становится объектом нейроисследований психологов [Демарева, 2015 и др.].
В отечественной лингвистике исследования с применением впециального оборудования немногочисленны [Миклашевский, 2017, Резанова, 2016,], но потребность в них высока в связи с предоставляемыми новыми возможностями исследования процессов восприятия вербальных единиц, в том числе — текстов. В настоящем исследовании реализуется использование нейрооборудования применительно к лингвистическому объекту, что также определяет его актуальность.
Его актуальность также определяется обращением к анализу восприятия текста - как конкретизация смещения общего исследовательского фокуса в сторону проблематики восприятия (ранее ученые в большей степени фокусировались на порождении текста), что является еще одним из аспектов актуальности работы, обеспеченным техническими возможностями.
Отдельным аспектом актуальности настоящего исследование является его направленность на выявление особенностей поведения человека в процессе чтения (под чтением понимается «процесс извлечения информации также из любой символьной системы» [Чтение, 2003, с.592], «сложный процесс, в котором непосредственное участие принимают высшие психические функции в части мышления» [Выготский, 2004, с. 100]).
Проблема восприятия текста активно ставится в рамках решения проблем психологии, медицины, педагогики, методики и др. В нашей работе данная проблема ставится в рамках анализа восприятия учебного текста, что определяет ее актуальность как вносящей вклад в развитие методической теории.
Еще один аспект актуальности данной работы определяется ее обращением к поликодовому тексту - как форме представления текста, активно востребованной в современном обществе. В данном исследовании мы обращаемся к проблемам извлечения информации из разных символьных систем в рамках реализации единой читательской интенции: к вербальной и изобразительной символьным системам, частотно взаимодействующих в образовательных практиках.
В работе мы проверяем следующие гипотезы.
Гипотеза 1. Поликодовый учебный текст, изобразительная составляющая которого содержательно связана с вербальной, имеет более высокий показатель эффективности чтения в сравнении с монокодовым (вербальным) и в сравнении с поликодовым, включающим оппозитивную (не связанную с вербальным по содержанию) изобразительную составляющую. Проверка данной гипотезы направлена на подтверждение результата, полученного в [Mason at al, 2013] на материале поликодового текста, вербальная составляющая которого реализована на итальянском языке.
Гипотеза 2. Структурно-содержательная организация вербальной составляющей поликодового учебного текста регулирует обращение читателя к его изобразительной составляющей.
В данном исследовании для обозначения одной из операционных единиц анализа мы вводим термин «текстовый предиктор». Под текстовым предиктором мы понимаем фрагмент вербального компонента поликодового текста, который потенциально ориентирует читателя на его связь с изображением.
Под текстовым предиктором в данной работе мы понимаем фрагмент вербального компонента поликодового текста, который потенциально ориентирует читателя на его связь с изображением. Мы предположили, что это единицы вербальной части текста, которые являются по своей семантике потенциально изобразительно визуализируемыми.
Объект —процесс когнитивной обработки поликодового учебного текста, включающего вербальную и изобразительную составляющие.
Под изобразительной составляющей понимается изображение на плоскости, созданное невербально-графическими средствами (рисунок) и включенное в поликодовый текст, что определяет единство его восприятия читателем в совокупности с другими его элементами (в данном случае - с элементами, созданными средствами вербально-графическими).
Рассматриваемый нами как объект восприятия читателем поликодовый текст обрабатывается через единый канал визуальной модельности.
Предмет - специфика установления связи между вербальным и изобразительным кодами поликодового текста в процессе его чтения
Цель - выявить результаты влияние характера связанности изображения и вербальной составляющей поликодового текста на извлечение информации из него, определить особенности вербальной составляющей поликодового текста, определяющие активизацию связи между изобразительным и вербальным компонентами в процессе его когнитивной обработки читателем.
Задачи:
1. Изучить основные научные концепции поликодового текста, в частности - включающего изобразительную и вербальную составляющие, в том числе - особенности вербально-изобразительных отношений в поликодовом тексте
2. Определить особенности учебного текста, оказывающие влияние на его восприятие читателем.
3. Проанализировать результаты окулографических исследований процесса чтения; определить на этом основании значимые для данного исследования языковые и окуломоторные аспекты его функционирования, выбрать окулографические методы для изучения восприятия учащимися поликодовых учебных текстов.
4. Разработать дизайн экспериментов, направленных на исследование когнитивной обработки респондентами поликодового учебного текста естественнонаучной тематики, включающий запись движения глаз (айтрекинг) и анкету, направленную на выявление эффективности прочтения текста.
5. Провести эксперименты, направленные на анализ процессов когнитивной обработки учебного поликодового текста.
6. Обработать результаты методами наблюдения, методами айтрекинговой аналитики и статистического моделирования; выявить результаты влияния характера связанности изображения и вербальной составляющей поликодового текста на извлечение информации из него.
7. Определить особенности вербальной составляющей поликодового текста, определяющие активизацию связи между изобразительным и вербальным компонентами в процессе его когнитивной обработки читателем
Новизна настоящего исследования заключается в том, что
(1) выявлены возможности использования окулографических методов для анализа восприятия учебного поликодового текста;
(2) проанализирована специфика когнитивной обработки русскоязычного учебного поликодового текста;
(3) осуществлялась проверка зависимости уровня эффективности восприятия учебного текста не только от наличия/отсутствия иллюстрации, но и от характера ее связи с ним;
(4) выявлена природа взаимовлияния разнокодовых составляющих текста, выявлены текстовые предикторы, ориентирующие читателя на связь с иллюстрацией.
(5) установлены текстовые показатели обращения к изображению.
Материалом для исследования послужили:
• Стимульный текст. Стимульный материал составили тексты из
учебника по анатомии для студентов-медиков [Сапин, 2010], содержащие детализированную специальную информацию, но не содержащие фрагментов, полное понимание которых невозможно без опоры на специализированные фоновые знания.
• Экспериментальные данные.
Нами было проведено два экспериментальных этапа, в каждом из которых были получены следующие типы данных.
1. Окулографические данные, данные анкет, полученные от 16 респондентов в возрасте от 18-24 лет, среди которых 8 мужчин и 8 женщин. Эксперимент был направлен на прочтение респондентами стимульных текстов и на ответы на вопросы по ним.
2. Окулографические данные, данные анкет, полученные от 20 респондентов в возрасте от 18-24 лет, среди которых 9 мужчин и 11 женщин. Эксперимент был направлен на прочтение респондентами стимульных текстов и на ответы на вопросы по ним.
Методы исследования:
1. Метод окулографии, позволяющий соотнести движения глаз читателя с когнитивными процессами, происходящими в его сознании при восприятии текстового материала. Данный метод был использован в качестве основного при исследовании особенностей процесса чтения учебного поликодового текста. В его рамках был применен: NTrend-ET500 - модуль видеоокулографии (айтрекер).
2. Метод анкетирования, реализованный при помощи анкеты, направленной на оценку уровня усвоения текстовой информации был использован для оценки результатов усвоения текстовой информации. При разработке анкеты были использованы принципы оценки эффективности чтения, разработанные в рамках Международной программе по оценке образовательных достижений обучающихся PISA [Кудряшова, 2023, PISA, 2020, Шайхелисламов, Волкова, 2019 и др.]. Вопросы анкеты были разработаны и обработаны на основании данных принципов и их адаптации к целям исследования.
3. Методы (1) контекстуально-семантического анализа текста, включающего приемы контекстуального анализа и компонентного анализа; (2) социолингвистического анализа, направленного на обоснование специфики языка социальной сферой существования текста, (3) сравнительносопоставительный метод (сопоставление разных стимульных текстов и экспериментальных данных разных групп участников эксперимента) были использованы для разработки стимульного материала для экспериментов, а также для оценки их результатов.
4. Методы окулографической аналитики (данные, прошедшие предобработку айтрекером) использовались для оценки результатов эксперимента. Анализируемыми айтрекинговыми данными стали: фиксации и саккады (и их графическая репрезентация в виде сканпасса), прогрессивные и регрессивные саккады, среднее время пребывания в зоне интереса, показатель субъективной сложности текста (вычислялась путем деления количества регрессивных саккад на общее количество фиксаций, где фиксацией является сосредоточение взгляда пользователем на участках текстовых материалов).
5. Методы статистического моделирования использовались для анализа данных результатов окулографических экспериментов. Использование данных методов позволяет говорить об объективном характере зависимостей между двумя и более переменными.
Теоретическая значимость данной работы определяется её вкладом в развитие окулографических исследований процесса чтения, в частности - чтения учебного поликодового текста. Кроме того, работа вносит вклад в развитие концепции поликодового текста, формирование методологии лингвистического исследования с использованием окулографических данных, в теорию восприятия текста.
Практическая значимость результатов исследования заключается в научном обосновании использования изображений для иллюстрирования учебных текстов.
Теоретические основы исследования
Проблема связи текста и изображения в отечественной и зарубежной лингвистике достаточно широко описана. Особенно подробно рассмотрены виды связи между изображением и вербальной составляющей - как компонентами единого поликодового текста, обладающего свойством текстуальности (Е.Е. Анисимова, О.В. Власова, Л. Барден, В.М. Березин и др.), а также его коммуникативные функции (М.А. Ищук, Ю. А. Сорокин, Е.Ф. Тарасов и др.); кроме того, представлен целый ряд типологий поликодового текста - по разным основаниям (Е.Е. Анисимова, А. А. Бернацкая, М.В. Ворошилова, О.В. Пойманова и др.). Отдельно следует отметить исследования, рассматривающие поликодовый текст в аспекте его восприятия (Ю.Г. Алексеев, Л.В. Головина, Н.И. Жинкин, А.А. Леонтьев и др.), и особенно - с использованием специального оборудования, позволяющего по-особому зафиксировать процесс когнитивной деятельности читателя поликодового текста (Mason, Tornatora,&Pluchino, W. D. Marslen-Wilson, A. Pollatsek, K. Rastle, K. I. Forster, A. Frost, и др.). Теоретическую основу исследования также составили работы исследователей, изучающих специфику учебного текста: (Курьянович, А. В., Карасик В. И., Сабинина А.А., Тубалова И.В., Рудикова Ю.Ю., и др.).
Однако проблема восприятия учебного поликодового текста на русском языке при этом оказалась практически обойденной исследовательским вниманием.
Апробация результатов исследования
1. Гарина А.В. Влияние изображения на восприятие учебного текста: пилотное экспериментальное исследование / науч. рук.: И.В. Тубалова // Актуальные проблемы лингвистики и литературоведения: сборник материалов X (XXIV) Международной научно-практической конференции молодых ученых (13-15 апреля 2023 г.). Вып. 24. Томск: Издательство Томского государственного университета, 2023. С. 180-184.
2. Гарина А.В. XI (XXV) Международная научно-практическая конференция молодых учёных «Актуальные проблемы лингвистики и литературоведения» 18-20 апреля 2024 г. Пленарный доклад «Текстовые предикторы обращения к изображению при восприятии учебного поликодового текста: экспериментальное исследование»
3. Garina A.V. the X Summer Neurolinguistics School on the topic of “Eye-tracking in the lab and beyond”, organized by the Center for Language and Brain (HSE University, Moscow) 18-20 September 2023. Oral presentation «THE STUDY OF THE PERCEPTION OF AN EDUCATIONAL TEXT WITH IMAGES OF DIFFERENT TYPES: PILOT EXPERIMENTAL STUDY»
Структура работы. Магистерская диссертация состоит из введения, двух глав, заключения, списка использованной литературы и приложений.
Во Введении характеризуются объект и предмет исследования, описываются задачи исследования, обосновывается актуальность обращения к данной теме.
В первой (теоретической) главе рассматривается понятие учебного поликодового текста и исследуется характер его взаимодействия с иллюстрацией. Описывается место учебного поликодового текста в образовательном дискурсе, обсуждается место метода видеоокулографии в исследованиях процесса чтения. Приводится описание метода статистической обработки айтрекинговых данных.
Во второй (практической) главе описаны планирование, создание и проведение двух этапов экспериментального исследования и анализа результатов. Первый этап эксперимента направлена на выявление особенностей когнитивной обработки поликодового учебного текста, определяемых наличием/отсутствием его связанности с иллюстрацией. Второй эксперимент дополняет первый и описывает состав предикторов обращения к иллюстрации.
В Заключении представлены основные выводы работы и описаны перспективы дальнейших исследований.
В рамках данного исследования мы рассматриваем концепцию восприятия поликодового текста не только с точки зрения его лингвистических показателей, но и в аспекте психофихиологического процесса его когнитивной обработки. Использование данных айтрекера позволяет изучить как поведенческие, так и биологические аспекты чтения поликодовых текстов.
Объектом когнитивной обработки, процесс которой мы изучаем, является учебный поликодовый текст - как особый тип реализации учебного текста.
Учебный текст проявляет особенности своей формально-содержательной организации, включающие превалирование фактологического компонента в его содержании и особую форму выражения, ориентированную на комфорт ее усвоения в учебном процессе. Применительно к поликодовому учебному тексту, включающему вербальный и изобразительный компонент, это выражается, в частности, в особой связи изображения с вербальной частью. При этом наблюдения показывают, что указанные признаки поликодового учебного текста не всегда реализуются в образовательной реальности.
В данном исследовании мы попытались проверить зависимость эффективности восприятия учебного поликодового текста от характера связи изображения и его вербальной составляющей.
Наиболее высокую эффективность показала когнитивная обработка текста с изображением, фиксирующим детализированную информацию, представленную в нем: время ответов на вопросы - минимальное, количество регрессивных фиксаций и время фиксаций наименьшее.
Наименьшая эффективность зафиксирована при восприятии текста с изображением, не связанным с его содержанием, которое оказалось значимым отвлекающим фактором: большее время прочтения стимульного текста, в сравнении с остальными стимулами, больший показатель по времени ответа на вопросы по тексту, менее результативные показатели по ответам на вопросы, большее количество регрессивных саккад и более высокий показатель сложности текста.
Поликодовый текст осознается читателем как целостный элемент, в котором текстовая часть активно вступает во взаимосвязь с иллюстративной. В связи с этим использование иллюстрации, не связанной с содержанием текста, значительно снижает эффективность когнитивной обработки получаемой респондентом информации.
Обращение к изображению зависит от (1) смыслового соответствия информации вербальной части и изображения, (2) от наличия в тексте предикторов, грамматическое строение которых ориентированно на пространственность/изобразительность и т. д.
Таким образом, результаты эксперимента подтверждают влияние различного типа связи изображений с содержанием текста на эффективность его восприятия.
Типографское размещение иллюстрации к учебному тексту должно быть выполнено в едином графическом пространстве с ним, а вербальная часть должна быть организована так, чтобы включенные в нее ориентирующие на изображение компоненты способствовали его комфортной когнитивной обработке.
Объектом когнитивной обработки, процесс которой мы изучаем, является учебный поликодовый текст - как особый тип реализации учебного текста.
Учебный текст проявляет особенности своей формально-содержательной организации, включающие превалирование фактологического компонента в его содержании и особую форму выражения, ориентированную на комфорт ее усвоения в учебном процессе. Применительно к поликодовому учебному тексту, включающему вербальный и изобразительный компонент, это выражается, в частности, в особой связи изображения с вербальной частью. При этом наблюдения показывают, что указанные признаки поликодового учебного текста не всегда реализуются в образовательной реальности.
В данном исследовании мы попытались проверить зависимость эффективности восприятия учебного поликодового текста от характера связи изображения и его вербальной составляющей.
Наиболее высокую эффективность показала когнитивная обработка текста с изображением, фиксирующим детализированную информацию, представленную в нем: время ответов на вопросы - минимальное, количество регрессивных фиксаций и время фиксаций наименьшее.
Наименьшая эффективность зафиксирована при восприятии текста с изображением, не связанным с его содержанием, которое оказалось значимым отвлекающим фактором: большее время прочтения стимульного текста, в сравнении с остальными стимулами, больший показатель по времени ответа на вопросы по тексту, менее результативные показатели по ответам на вопросы, большее количество регрессивных саккад и более высокий показатель сложности текста.
Поликодовый текст осознается читателем как целостный элемент, в котором текстовая часть активно вступает во взаимосвязь с иллюстративной. В связи с этим использование иллюстрации, не связанной с содержанием текста, значительно снижает эффективность когнитивной обработки получаемой респондентом информации.
Обращение к изображению зависит от (1) смыслового соответствия информации вербальной части и изображения, (2) от наличия в тексте предикторов, грамматическое строение которых ориентированно на пространственность/изобразительность и т. д.
Таким образом, результаты эксперимента подтверждают влияние различного типа связи изображений с содержанием текста на эффективность его восприятия.
Типографское размещение иллюстрации к учебному тексту должно быть выполнено в едином графическом пространстве с ним, а вербальная часть должна быть организована так, чтобы включенные в нее ориентирующие на изображение компоненты способствовали его комфортной когнитивной обработке.
