КРОССМОДАЛЬНОЕ ВЗАИМОДЕЙСТВИЕ ПЕРЦЕПЦИИ ЦВЕТА И ТЕМПЕРАТУРЫ В ПРОЦЕССАХ КОГНИТИВНОЙ ОБРАБОТКИ ЛЕКСЕМ, ВКЛЮЧАЮЩИХ СЕМАНТИЧЕСКИЙ КОМПОНЕНТ «ТЕМПЕРАТУРА»
|
ВВЕДЕНИЕ 7
Глава 1. Теоретические основы исследования кроссмодального взаимодействия визуальной и осязательной модальностей 11
1.1 Теория воплощенного познания: основные концепции 11
1.2 Модальности восприятия: типы и взаимодействие 14
1.2.1 Осязательная модальность: восприятие температуры 16
1.2.2 Визуальная модальность: основные типы анализаторов 18
1.2.2.1 Восприятие цвета 19
1.2.2.2 Восприятие визуально представленного слова 21
1.3 Ассоциативные связи между температурой и цветом объектов: экспериментальные исследования XX века и современные исследования. 26
1.4 Эксперимент в психолингвистике: основные понятия 31
Выводы по главе 1 33
Глава 2. Кроссмодальное взаимодействие семантики температуры и «теплого» и «холодного» цвета: экспериментальное исследование 35
2.1 Кроссмодальное взаимодействие семантических компонентов
«горячий» и «холодный» и цвета при когнитивной обработке полимодальных существительных 37
2.1.1 Исследование кроссмодального взаимодействия семантических
компонентов «горячий» и «холодный» и красного и синего цвета при когнитивной обработке полимодальных существительных 37
2.1.2 Исследование кроссмодального взаимодействия семантических
компонентов «горячий» и «холодный» и восьми цветов, относящихся к «горячей» и «холодной» частям спектра 45
2.2 Исследование влияния семантических компонентов «горячий» и
«холодный» на обработку унимодальных прилагательных с температурным компонентом семантики 56
Выводы по главе 2 63
ЗАКЛЮЧЕНИЕ 64
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 66
Приложение А. Список стимулов (полимодальных существительных), использованных в 1 и 2 экспериментах 73
Приложение Б. Результаты предварительного тестирования полимодальных существительных на предмет проявленности температурного компонента семантики 74
Приложение В. Результаты предварительного тестирования на предмет соотношения слова и цвета 75
Приложение Г. Пример анкеты пост-тестирования на оценку проявленности модальности (на примере анкеты визуальной модальности) 76
Приложение Д. Результаты пост-тестирования на оценку проявленности модальности 77
Приложение Е. Список стимулов (унимодальных прилагательных), использованных в 3 эксперименте 78
Приложение Ж. Пример анкеты предварительного тестирования на оценку проявленности температурного компонента семантики унимодальных прилагательных 79
Приложение И. Результаты предварительного тестирования унимодальных прилагательных на предмет проявленности температурного компонента семантики
Глава 1. Теоретические основы исследования кроссмодального взаимодействия визуальной и осязательной модальностей 11
1.1 Теория воплощенного познания: основные концепции 11
1.2 Модальности восприятия: типы и взаимодействие 14
1.2.1 Осязательная модальность: восприятие температуры 16
1.2.2 Визуальная модальность: основные типы анализаторов 18
1.2.2.1 Восприятие цвета 19
1.2.2.2 Восприятие визуально представленного слова 21
1.3 Ассоциативные связи между температурой и цветом объектов: экспериментальные исследования XX века и современные исследования. 26
1.4 Эксперимент в психолингвистике: основные понятия 31
Выводы по главе 1 33
Глава 2. Кроссмодальное взаимодействие семантики температуры и «теплого» и «холодного» цвета: экспериментальное исследование 35
2.1 Кроссмодальное взаимодействие семантических компонентов
«горячий» и «холодный» и цвета при когнитивной обработке полимодальных существительных 37
2.1.1 Исследование кроссмодального взаимодействия семантических
компонентов «горячий» и «холодный» и красного и синего цвета при когнитивной обработке полимодальных существительных 37
2.1.2 Исследование кроссмодального взаимодействия семантических
компонентов «горячий» и «холодный» и восьми цветов, относящихся к «горячей» и «холодной» частям спектра 45
2.2 Исследование влияния семантических компонентов «горячий» и
«холодный» на обработку унимодальных прилагательных с температурным компонентом семантики 56
Выводы по главе 2 63
ЗАКЛЮЧЕНИЕ 64
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 66
Приложение А. Список стимулов (полимодальных существительных), использованных в 1 и 2 экспериментах 73
Приложение Б. Результаты предварительного тестирования полимодальных существительных на предмет проявленности температурного компонента семантики 74
Приложение В. Результаты предварительного тестирования на предмет соотношения слова и цвета 75
Приложение Г. Пример анкеты пост-тестирования на оценку проявленности модальности (на примере анкеты визуальной модальности) 76
Приложение Д. Результаты пост-тестирования на оценку проявленности модальности 77
Приложение Е. Список стимулов (унимодальных прилагательных), использованных в 3 эксперименте 78
Приложение Ж. Пример анкеты предварительного тестирования на оценку проявленности температурного компонента семантики унимодальных прилагательных 79
Приложение И. Результаты предварительного тестирования унимодальных прилагательных на предмет проявленности температурного компонента семантики
Одним из трендов в современной когнитивной науке является теория воплощенного познания. Она гласит, что человек для познания мира задействует сенсорный и моторный опыт, который впоследствии является частью мышления.
В рамках данной теории актуальным направлением является изучение модальности и модального восприятия. Человек воспринимает всю информацию из окружающего мира с помощью органов чувств, ощущения, воспринимаемые определенным органом чувств, и являются модальностью. Более того, разные наборы ощущений, воспринимаемые разными органами чувств, могут взаимодействовать друг с другом, смешиваться или доминировать один над другим. Такие виды взаимодействий и взаимовлияний наборов ощущений (модальностей) изучаются с разных сторон многими науками: психология, физиология, когнитивистика.
Данная работа также рассматривает взаимодействие модальностей, а именно такой случай, когда одна модальность влияет на другую (кроссмодальное взаимодействие). Однако это взаимодействие изучается на уровне языковых единиц, поэтому немаловажным является уточнение, что в этой работе язык рассматривается с точки зрения психолингвистики - науки, изучающей взаимодействие языка, мышления и сознания. Так как данное учение возникло в 50-х годах прошлого века, оно до сих пор является актуальным и бурно развивающимся.
Таким образом, актуальность данного исследования обуславливается общим интересом современной лингвистики и психологии к когнитивным исследованиям языка в целом. Данная работа включается в ту парадигму психолингвистики, согласно которой информация из окружающего мира воспринимается органами чувств и затем остается в долговременной памяти человека в виде образов, содержащих в себе все модальные компоненты значения. Также наша работа является частью существующей парадигмы изучения кроссмодального взаимодействия цвета и температуры, так как опирается на достижения в этой области.
Объектом исследования является изучение кросс-модального взаимодействия в процессах когнитивной обработки слов.
В качестве предмета мы выделяем когнитивную обработку лексем в условиях кросс-модального взаимодействия цветовой и температурной модальности.
Цель данной работы - выявить влияние семантики слова с температурным компонентом значения на когнитивную обработку визуальных стимулов, дифференцированных по «теплым» и «холодным» цветовым характеристикам.
Цель конкретизируется следующими задачами:
1. Провести анализ литературы по проблеме когнитивного восприятия цветовых и температурных стимулов в области кросс-модального взаимодействия;
2. Разработать дизайн эксперимента на материале русского языка для исследования взаимодействия визуальной и тактильной модальностей при когнитивной обработке лексем;
3. Составить необходимые базы психолинвистических стимулов для проведения поведенческих экспериментов с учетом такого параметра, как ярко выраженный температурный компонент семантики;
4. Экспериментально проверить влияние температурного компонента семантики на когнитивную обработку лексем, дифференцированных по «теплым» и «холодным» цветовым характеристикам;
5. Определить степень влияния температурного компонента семантики при помощи статистических методов.
Таким образом, наша гипотеза звучит так: связь между температурным компонентом семантики слова и температурой цвета существует, и эта связь будет либо ускорять обработку визуальных стимулов (при условии совпадения температурного компонента), либо замедлять (при условии его несовпадения).
Материалом для исследования послужили два набора лингвистических стимулов: полимодальные существительные с температурным компонентом семантики (32 слова), унимодальные прилагательные с температурным компонентом в ядре значения (19 слов).
Кроме языковых единиц, материалом также служили цвета, соотносящие с источником ощущения температуры: красный, оранжевый, желтый, зеленый («горячие» цвета) и голубой, синий, темно-серый, белый («холодные цвета»).
В основе работы лежит экспериментальный метод, заключающийся в создании и проведении аппаратного психолингвистического эксперимента, в ходе которого с помощью программного обеспечения E-Prime 2.0 и OpenSesame собираются данные о времени реакции испытуемых. В ходе работы также были использованы методы анкетирования для проверки стимульного материала на предмет проявленности тех или иных факторов; методы математической статистики для анализа результатов эксперимента; компоненты общенаучного описательного метода при анализе, интерпретации и обобщении результатов эксперимента.
Научная новизна нашей работы заключается в том, что, во-первых, большинство исследований в данной парадигме использовало предметные стимулы в качестве основных, мы же переходит от предметов к языку, используя лингвистические стимулы. Во-вторых, лингвистические стимулы в нашей работе представлены русскими словами, и на основе этого проверяются положения теории воплощенного познания на материале русского языка.
Теоретическая значимость работы заключается во встраивании настоящего исследования в парадигму работ, занимающихся исследованием процессов кроссмодального взаимодействия визуальной и осязательной модальностей на материале языковых стимулов.
Теоретической основой исследования послужили научные труды в сферах: теории воплощенного познания (Л. Барсалу и др.), теории модальностей (В. Смирнов и др.), теории кросс-модального взаимодействия, в том числе визуальной и осязательной модальностей (М. Могенсен, Б. Райт, М. Тинкер и др.).
Структура работы:
1. Во введении определяется объект исследования, формулируются цель и задачи исследования, описываются методы исследования, характеризуются материал и источники исследования.
2. Первая глава работы представляет собой теоретическое обоснование темы исследования. В ней рассматривается теория воплощенного познания, модальности и виды их взаимодействий, восприятие цвета, обработка визуального представленного слова, восприятие температуры, обзор научных работ в данной парадигме изучения кроссмодального взаимодействия визуальной и осязательной модальности, а также основные замечания к проведению психолингвистических экспериментов со сбором данных.
3. Вторая глава содержит описание трех экспериментов, а именно их стимульный материал, тип задания, процедура, дизайн, статистический анализ собранных данных и сравнение результатов, а также их обсуждение.
4. В заключении подводятся итоги проведенного исследования.
5. Приложения содержат дополнительную информацию в виде таблиц со стимулами и результатами предварительных и пост-тестирований
В рамках данной теории актуальным направлением является изучение модальности и модального восприятия. Человек воспринимает всю информацию из окружающего мира с помощью органов чувств, ощущения, воспринимаемые определенным органом чувств, и являются модальностью. Более того, разные наборы ощущений, воспринимаемые разными органами чувств, могут взаимодействовать друг с другом, смешиваться или доминировать один над другим. Такие виды взаимодействий и взаимовлияний наборов ощущений (модальностей) изучаются с разных сторон многими науками: психология, физиология, когнитивистика.
Данная работа также рассматривает взаимодействие модальностей, а именно такой случай, когда одна модальность влияет на другую (кроссмодальное взаимодействие). Однако это взаимодействие изучается на уровне языковых единиц, поэтому немаловажным является уточнение, что в этой работе язык рассматривается с точки зрения психолингвистики - науки, изучающей взаимодействие языка, мышления и сознания. Так как данное учение возникло в 50-х годах прошлого века, оно до сих пор является актуальным и бурно развивающимся.
Таким образом, актуальность данного исследования обуславливается общим интересом современной лингвистики и психологии к когнитивным исследованиям языка в целом. Данная работа включается в ту парадигму психолингвистики, согласно которой информация из окружающего мира воспринимается органами чувств и затем остается в долговременной памяти человека в виде образов, содержащих в себе все модальные компоненты значения. Также наша работа является частью существующей парадигмы изучения кроссмодального взаимодействия цвета и температуры, так как опирается на достижения в этой области.
Объектом исследования является изучение кросс-модального взаимодействия в процессах когнитивной обработки слов.
В качестве предмета мы выделяем когнитивную обработку лексем в условиях кросс-модального взаимодействия цветовой и температурной модальности.
Цель данной работы - выявить влияние семантики слова с температурным компонентом значения на когнитивную обработку визуальных стимулов, дифференцированных по «теплым» и «холодным» цветовым характеристикам.
Цель конкретизируется следующими задачами:
1. Провести анализ литературы по проблеме когнитивного восприятия цветовых и температурных стимулов в области кросс-модального взаимодействия;
2. Разработать дизайн эксперимента на материале русского языка для исследования взаимодействия визуальной и тактильной модальностей при когнитивной обработке лексем;
3. Составить необходимые базы психолинвистических стимулов для проведения поведенческих экспериментов с учетом такого параметра, как ярко выраженный температурный компонент семантики;
4. Экспериментально проверить влияние температурного компонента семантики на когнитивную обработку лексем, дифференцированных по «теплым» и «холодным» цветовым характеристикам;
5. Определить степень влияния температурного компонента семантики при помощи статистических методов.
Таким образом, наша гипотеза звучит так: связь между температурным компонентом семантики слова и температурой цвета существует, и эта связь будет либо ускорять обработку визуальных стимулов (при условии совпадения температурного компонента), либо замедлять (при условии его несовпадения).
Материалом для исследования послужили два набора лингвистических стимулов: полимодальные существительные с температурным компонентом семантики (32 слова), унимодальные прилагательные с температурным компонентом в ядре значения (19 слов).
Кроме языковых единиц, материалом также служили цвета, соотносящие с источником ощущения температуры: красный, оранжевый, желтый, зеленый («горячие» цвета) и голубой, синий, темно-серый, белый («холодные цвета»).
В основе работы лежит экспериментальный метод, заключающийся в создании и проведении аппаратного психолингвистического эксперимента, в ходе которого с помощью программного обеспечения E-Prime 2.0 и OpenSesame собираются данные о времени реакции испытуемых. В ходе работы также были использованы методы анкетирования для проверки стимульного материала на предмет проявленности тех или иных факторов; методы математической статистики для анализа результатов эксперимента; компоненты общенаучного описательного метода при анализе, интерпретации и обобщении результатов эксперимента.
Научная новизна нашей работы заключается в том, что, во-первых, большинство исследований в данной парадигме использовало предметные стимулы в качестве основных, мы же переходит от предметов к языку, используя лингвистические стимулы. Во-вторых, лингвистические стимулы в нашей работе представлены русскими словами, и на основе этого проверяются положения теории воплощенного познания на материале русского языка.
Теоретическая значимость работы заключается во встраивании настоящего исследования в парадигму работ, занимающихся исследованием процессов кроссмодального взаимодействия визуальной и осязательной модальностей на материале языковых стимулов.
Теоретической основой исследования послужили научные труды в сферах: теории воплощенного познания (Л. Барсалу и др.), теории модальностей (В. Смирнов и др.), теории кросс-модального взаимодействия, в том числе визуальной и осязательной модальностей (М. Могенсен, Б. Райт, М. Тинкер и др.).
Структура работы:
1. Во введении определяется объект исследования, формулируются цель и задачи исследования, описываются методы исследования, характеризуются материал и источники исследования.
2. Первая глава работы представляет собой теоретическое обоснование темы исследования. В ней рассматривается теория воплощенного познания, модальности и виды их взаимодействий, восприятие цвета, обработка визуального представленного слова, восприятие температуры, обзор научных работ в данной парадигме изучения кроссмодального взаимодействия визуальной и осязательной модальности, а также основные замечания к проведению психолингвистических экспериментов со сбором данных.
3. Вторая глава содержит описание трех экспериментов, а именно их стимульный материал, тип задания, процедура, дизайн, статистический анализ собранных данных и сравнение результатов, а также их обсуждение.
4. В заключении подводятся итоги проведенного исследования.
5. Приложения содержат дополнительную информацию в виде таблиц со стимулами и результатами предварительных и пост-тестирований
Теоретическая часть проведенного исследования позволила сделать вывод о том, что лингвокогнитивные исследования в русском научном сообществе являются актуальными, так как теория воплощенного познания является одним из трендов развития современной мировой когнитивной науки. Было выявлено, что в данной области исследований одним из бурно развивающихся направлений является теория модальностей и изучение модального и полимодального восприятий. В работе исследовалось кросс-модальное восприятие визуальной и осязательной модальностей, поэтому были рассмотрены более подробно особенности данных модальностей. Анализ предыдущих работ, посвященных этой теме, показал, что связь между восприятием цвета и восприятием температуры существует, и она доказана как на материале предметных стимулов, так и на материале языковых стимулов (английского и японского языков), однако на материале русского языка такая проблема не решалась. Также анализ позволил выявить, что наиболее эффективным методом проверки наличия связи между данными факторами является эксперимент.
В ходе проведенного исследования с помощью метода интроспекции были выделены наиболее подходящие полимодальные существительные с сильной проявленностью температурного компонента семантики. С помощью метода анкетирования было доказано, что их температурный компонент семантики ярко выражен. На данном материале было проведено два аппаратных психолингвистических эксперимента, различных по типу задания, процедуре и количеству цветов, используемых в задании. Результаты показали отсутствие связи между фактором цвета и фактором температурной семантики слова.
Основываясь на утверждении, что существительные по своей природе полимодальны, был сделан вывод, что другие модальности влияют на активацию температурного компонента. Это было доказано с помощью пост-тестирования существительных на предмет проявленности в них других модальностей. Вследствие этого факта были отобраны унимодальные прилагательные с
температурным компонентом значения. На данном материале был проведен один эксперимент, повторяющий тип задания, процедуру и количество цветов из первого эксперимента. Его результаты показали тенденцию к проявлению взаимодействия между температурным компонентом семантики слова и субъективной температурной цвета («холодный» температурный компонент влияет на обработку визуального стимула: при совпадении условий («холодный» - синий) обработка слова идет быстрее, чем при несовпадении («холодный» - красный).
В качестве перспективы исследования возможно продолжить исследование взаимодействия факторов температурного компонента семантики слова и фактора температуры цвета именно на материале унимодальных прилагательных с температурным компонентом в ядре значения.
В ходе проведенного исследования с помощью метода интроспекции были выделены наиболее подходящие полимодальные существительные с сильной проявленностью температурного компонента семантики. С помощью метода анкетирования было доказано, что их температурный компонент семантики ярко выражен. На данном материале было проведено два аппаратных психолингвистических эксперимента, различных по типу задания, процедуре и количеству цветов, используемых в задании. Результаты показали отсутствие связи между фактором цвета и фактором температурной семантики слова.
Основываясь на утверждении, что существительные по своей природе полимодальны, был сделан вывод, что другие модальности влияют на активацию температурного компонента. Это было доказано с помощью пост-тестирования существительных на предмет проявленности в них других модальностей. Вследствие этого факта были отобраны унимодальные прилагательные с
температурным компонентом значения. На данном материале был проведен один эксперимент, повторяющий тип задания, процедуру и количество цветов из первого эксперимента. Его результаты показали тенденцию к проявлению взаимодействия между температурным компонентом семантики слова и субъективной температурной цвета («холодный» температурный компонент влияет на обработку визуального стимула: при совпадении условий («холодный» - синий) обработка слова идет быстрее, чем при несовпадении («холодный» - красный).
В качестве перспективы исследования возможно продолжить исследование взаимодействия факторов температурного компонента семантики слова и фактора температуры цвета именно на материале унимодальных прилагательных с температурным компонентом в ядре значения.