Вертикальные смещения внимания в условиях взаимодействия модальностей, реальных и симулируемых
|
Введение 3
Глава 1. Смещения внимания как результат взаимодействия модальностей через призму теории воплощённого познания 7
1.1. Воплощённое познание: мышление, укоренённое в физическом опыте... 7
1.1.1. Мозг - тело - мир 7
1.1.2. От языка к живому телу агента: влияние воспринимаемых
языковых стимулов на физиологию человека 8
1.1.3. Ментальная симуляция 11
1.2. Внимание как интегральный компонент восприятия 15
1.2.1. «Внимание - многомерный модулятор потока информации» 15
1.2.2. Когнитивная обработка языковых единиц: от чтения к пониманию 16
1.2.3. Смещения внимания как следствие когнитивной обработки
языковых сигналов 18
1.3. Полимодальный компонент внимания 21
1.3.1. Межмодальное картирование 21
Глава 2. Экспериментальное исследование смещений внимания при взаимодействии различных модальностей 24
2.1. Эксперимент 1: иконический знак как объект реального мира 25
2.2. Эксперимент 2: вербальный стимул, передающий пространственную
ориентацию 33
2.3. Эксперимент 3: вербальный стимул с типичной пространственной
локализацией референта 39
2.4. Общее обсуждение 44
Заключение 48
Список использованных источников и литературы 49
Глава 1. Смещения внимания как результат взаимодействия модальностей через призму теории воплощённого познания 7
1.1. Воплощённое познание: мышление, укоренённое в физическом опыте... 7
1.1.1. Мозг - тело - мир 7
1.1.2. От языка к живому телу агента: влияние воспринимаемых
языковых стимулов на физиологию человека 8
1.1.3. Ментальная симуляция 11
1.2. Внимание как интегральный компонент восприятия 15
1.2.1. «Внимание - многомерный модулятор потока информации» 15
1.2.2. Когнитивная обработка языковых единиц: от чтения к пониманию 16
1.2.3. Смещения внимания как следствие когнитивной обработки
языковых сигналов 18
1.3. Полимодальный компонент внимания 21
1.3.1. Межмодальное картирование 21
Глава 2. Экспериментальное исследование смещений внимания при взаимодействии различных модальностей 24
2.1. Эксперимент 1: иконический знак как объект реального мира 25
2.2. Эксперимент 2: вербальный стимул, передающий пространственную
ориентацию 33
2.3. Эксперимент 3: вербальный стимул с типичной пространственной
локализацией референта 39
2.4. Общее обсуждение 44
Заключение 48
Список использованных источников и литературы 49
Актуальность
Человеческое мышление - сложная система, получающая и обрабатывающая информацию. Традиционные когнитивные науки рассматривали мышление как абстрактное свойство человека, не зависящее от тела и его механизмов восприятия и движений. Тем не менее, многие факты указывают на тесную связь - и даже взаимосвязь - разума и тела: так, люди часто совершают движения руками во время разговора, что влияет на обработку языка [McNeill, 1992], используют собственное тело или предметы окружающего мира для выполнения когнитивных заданий, например, запоминания [Donald, 1991], а также обладают особым видом нейронов, зеркальными нейронами, которые активируются не только при выполнении какого-либо действия, но и при наблюдении за выполнением этого действия другими [Rizzolatti and Craighero, 2004]. Благодаря этому родилось понятие мышления в широком смысле, понятия мышления, тесно связанного со свойствами тела и физического мира вокруг него.
С этой точки зрения расширяется и взгляд на язык. Действительно, если язык и мышление связаны [Harris, 2006], то должны быть связаны язык и физический мир через когницию; исследования это подтверждают: при обработке языковой информации могут активизироваться зоны мозга, ответственные за телесные движения [Hauk, Johnsrude, Pulvermuller, 2004], объекты реального мира влияют на обработку языковой информации [Dudschig, Souman, Lachmair, de la Vega, Kaup, 2013], при обработке
языковой информации может использоваться информация из иных модальностей (перцептивных систем, характерных для тех или иных органов чувств; например, визуальная модальность, аудиальная модальность, болевая и др.) или семиотических систем (систем кодировки информации, например, вербальной (слова), иконической (картинки) и др.) [Stroop, 1935].
Этот широкий взгляд на мышление открыл дорогу новым исследованиям. Благодаря трудам Дж. Лакоффа, М. Джонсона, Ф. Варела, Э.
Томпсона, Э. Рош, Дж. Эдельмана и других была создана и сейчас активно развивается теория воплощённого познания, особый интерес к которой появился в последние 10-20 лет. Эта теория говорит о том, что когниция крайне сильно зависит от физического тела своего носителя, поэтому физический мир играет огромную конструктивную роль в процессе мышления, а само оно неотделимо от физических переживаний. Будучи междисциплинарной, теория воплощённого познания охватывает крайне широкий круг явлений и вопросов. Вследствие этого в неё ещё много «белых пятен» - вопросов, остающихся пока что без ответа - а также существует проблема разграничения теории воплощённого познания и смежных с ней теорий.
В данной работе нас интересует влияние взаимодействия перцептивных модальностей (как реальных, так и симулируемых) на смещения внимания. Представляя испытуемым в серии экспериментов конгруэнтную и неконгруэнтную информацию в двух модальностях, мы пытаемся выяснить, повлияет ли одна модальность на смещение внимания в другой, и насколько это влияние концептуально, т.е. насколько абстрактной может быть информация для наблюдения этого эффекта.
Объектом исследования является взаимодействие модальностей в рамках теории воплощённого познания.
Предметом исследования является взаимодействие информации аудиальной и визуальной модальностей при обработке соответствующих стимулов и его влияние на смещения внимания.
Целью данной работы является выявление смещений внимания при взаимодействии информаций разных модальностей и определение степени допустимой концептуальности языковых стимулов для появления этих смещений.
Для достижения поставленной цели были определены следующие задачи:
1. Разработать дизайн 3 экспериментов; каждый включает в себя два вида стимулов, аудиальный и визуальный, взаимодействие которых рождает конгруэнтное и неконгруэнтное условия;
2. Набрать необходимый для исследования материал: аудиальные и
визуальные (пиктографические и словесные) стимулы, используя материалы других исследований; визуальные стимулы отличаются в трёх экспериментах, приобретая большую степень абстрактности
(концептуальную сложность) в выражении пространственных значений;
3. Провести эксперименты на не менее 30 испытуемых для каждого, сохраняя репрезентативность выборки участников;
4. Сделать выводы по каждому эксперименту, проанализировав результаты с использованием статистических методов;
5. Сделать общий вывод по результатам всех экспериментов относительно нашей гипотезы.
Теоретическая ценность работы заключается в использовании разных по смысловой наполненности визуальных стимулов: пиктографические, занимающие определённую локацию на вертикальной оси, и языковые: слова-направления и слова-объекты, референты которых имеют типичную локализацию в пространстве.
Практическая ценность работы заключается в том, что в мультимодальном мире понимание тонкостей взаимодействия различных модальностей может быть полезно в большом количестве сфер деятельности, начиная от рекламы и заканчивая образованием.
Работа состоит из Введения, где обозначаются объект, предмет, цель, задачи исследования, определяется его актуальность, теоретическая и практическая ценности.
В первой главе рассматривается теория воплощённого познания, центральная для понимания связи лингвистических стимулов и различных аспектов человеческого мышления, включая внимание.
Во второй главе рассматривается человеческое внимание как интегральный компонент мышления и смещения внимания при помощи языковых стимулов.
В третьей главе рассматривается аспект полимодальности поступающей информации, взаимодействия различных модальностей при обработке информации и распределение внимания между ними.
В четвёртой главе приведены описание и результаты экспериментов.
В заключении подводятся итоги проделанной работы.
В конце работы находится список использованных источников и литературы и приложение, содержащее таблицы с результатами экспериментов.
Человеческое мышление - сложная система, получающая и обрабатывающая информацию. Традиционные когнитивные науки рассматривали мышление как абстрактное свойство человека, не зависящее от тела и его механизмов восприятия и движений. Тем не менее, многие факты указывают на тесную связь - и даже взаимосвязь - разума и тела: так, люди часто совершают движения руками во время разговора, что влияет на обработку языка [McNeill, 1992], используют собственное тело или предметы окружающего мира для выполнения когнитивных заданий, например, запоминания [Donald, 1991], а также обладают особым видом нейронов, зеркальными нейронами, которые активируются не только при выполнении какого-либо действия, но и при наблюдении за выполнением этого действия другими [Rizzolatti and Craighero, 2004]. Благодаря этому родилось понятие мышления в широком смысле, понятия мышления, тесно связанного со свойствами тела и физического мира вокруг него.
С этой точки зрения расширяется и взгляд на язык. Действительно, если язык и мышление связаны [Harris, 2006], то должны быть связаны язык и физический мир через когницию; исследования это подтверждают: при обработке языковой информации могут активизироваться зоны мозга, ответственные за телесные движения [Hauk, Johnsrude, Pulvermuller, 2004], объекты реального мира влияют на обработку языковой информации [Dudschig, Souman, Lachmair, de la Vega, Kaup, 2013], при обработке
языковой информации может использоваться информация из иных модальностей (перцептивных систем, характерных для тех или иных органов чувств; например, визуальная модальность, аудиальная модальность, болевая и др.) или семиотических систем (систем кодировки информации, например, вербальной (слова), иконической (картинки) и др.) [Stroop, 1935].
Этот широкий взгляд на мышление открыл дорогу новым исследованиям. Благодаря трудам Дж. Лакоффа, М. Джонсона, Ф. Варела, Э.
Томпсона, Э. Рош, Дж. Эдельмана и других была создана и сейчас активно развивается теория воплощённого познания, особый интерес к которой появился в последние 10-20 лет. Эта теория говорит о том, что когниция крайне сильно зависит от физического тела своего носителя, поэтому физический мир играет огромную конструктивную роль в процессе мышления, а само оно неотделимо от физических переживаний. Будучи междисциплинарной, теория воплощённого познания охватывает крайне широкий круг явлений и вопросов. Вследствие этого в неё ещё много «белых пятен» - вопросов, остающихся пока что без ответа - а также существует проблема разграничения теории воплощённого познания и смежных с ней теорий.
В данной работе нас интересует влияние взаимодействия перцептивных модальностей (как реальных, так и симулируемых) на смещения внимания. Представляя испытуемым в серии экспериментов конгруэнтную и неконгруэнтную информацию в двух модальностях, мы пытаемся выяснить, повлияет ли одна модальность на смещение внимания в другой, и насколько это влияние концептуально, т.е. насколько абстрактной может быть информация для наблюдения этого эффекта.
Объектом исследования является взаимодействие модальностей в рамках теории воплощённого познания.
Предметом исследования является взаимодействие информации аудиальной и визуальной модальностей при обработке соответствующих стимулов и его влияние на смещения внимания.
Целью данной работы является выявление смещений внимания при взаимодействии информаций разных модальностей и определение степени допустимой концептуальности языковых стимулов для появления этих смещений.
Для достижения поставленной цели были определены следующие задачи:
1. Разработать дизайн 3 экспериментов; каждый включает в себя два вида стимулов, аудиальный и визуальный, взаимодействие которых рождает конгруэнтное и неконгруэнтное условия;
2. Набрать необходимый для исследования материал: аудиальные и
визуальные (пиктографические и словесные) стимулы, используя материалы других исследований; визуальные стимулы отличаются в трёх экспериментах, приобретая большую степень абстрактности
(концептуальную сложность) в выражении пространственных значений;
3. Провести эксперименты на не менее 30 испытуемых для каждого, сохраняя репрезентативность выборки участников;
4. Сделать выводы по каждому эксперименту, проанализировав результаты с использованием статистических методов;
5. Сделать общий вывод по результатам всех экспериментов относительно нашей гипотезы.
Теоретическая ценность работы заключается в использовании разных по смысловой наполненности визуальных стимулов: пиктографические, занимающие определённую локацию на вертикальной оси, и языковые: слова-направления и слова-объекты, референты которых имеют типичную локализацию в пространстве.
Практическая ценность работы заключается в том, что в мультимодальном мире понимание тонкостей взаимодействия различных модальностей может быть полезно в большом количестве сфер деятельности, начиная от рекламы и заканчивая образованием.
Работа состоит из Введения, где обозначаются объект, предмет, цель, задачи исследования, определяется его актуальность, теоретическая и практическая ценности.
В первой главе рассматривается теория воплощённого познания, центральная для понимания связи лингвистических стимулов и различных аспектов человеческого мышления, включая внимание.
Во второй главе рассматривается человеческое внимание как интегральный компонент мышления и смещения внимания при помощи языковых стимулов.
В третьей главе рассматривается аспект полимодальности поступающей информации, взаимодействия различных модальностей при обработке информации и распределение внимания между ними.
В четвёртой главе приведены описание и результаты экспериментов.
В заключении подводятся итоги проделанной работы.
В конце работы находится список использованных источников и литературы и приложение, содержащее таблицы с результатами экспериментов.
Результаты нашего исследования показывают, что симулированные модальности схожи с реальными как минимум в аспекте взаимодействия модальностей. Смещения внимания, вызываемые непосредственно наблюдаемой «вертикальностью» стимулов в визуальной модальности и непосредственно воспринимаемой «вертикальностью» стимулов в аудиальной модальности, крайне похожи на смещения внимания, вызываемые при условии, что «вертикальность» в первой будет симуляцией, источник которой - слова русского языка. Неясным, впрочем, остаётся вопрос, насколько глубоко может быть «спрятана» эта вертикальность в слове: при непосредственном указании на эту характеристику симуляция происходит, но при сокрытии в референции, как показало наше исследование, - нет. Вполне возможно, что симуляция возможна и в этом случае, но нужно некоторое указание на то, что эта вертикальность есть, некоторая подсказка, где её искать.
Взаимодействие модальностей - неотъемлемый атрибут человеческой жизни, т.к. человек пользуется огромным количеством сенсорно¬перцептивных каналов для взаимодействия с миром. Тем удивительнее, тема эта лишь набирает популярность. Многие исследователи взаимодействия реальных и симулируемых (особенно при помощи языковых единиц) модальностей предоставляют данные, схожие с нашими. В данной работе мы продемонстрировали эффекты интеракции модальностей на материале русского языка. Логичным продолжением такого рода исследований нам кажется изучение различных условий симуляции модальностей единицами русского языка: какие характеристики единицы влияют на возможность или невозможность ментальной симуляции, можно ли облегчить или затруднить ментальную симуляцию, какие модальности или аспекты модальностей можно симулировать и т.д. Результаты подобных исследований могут получить широкое применение во многих областях человеческой жизни, начиная от обучения и заканчивая рекламной деятельностью.
Взаимодействие модальностей - неотъемлемый атрибут человеческой жизни, т.к. человек пользуется огромным количеством сенсорно¬перцептивных каналов для взаимодействия с миром. Тем удивительнее, тема эта лишь набирает популярность. Многие исследователи взаимодействия реальных и симулируемых (особенно при помощи языковых единиц) модальностей предоставляют данные, схожие с нашими. В данной работе мы продемонстрировали эффекты интеракции модальностей на материале русского языка. Логичным продолжением такого рода исследований нам кажется изучение различных условий симуляции модальностей единицами русского языка: какие характеристики единицы влияют на возможность или невозможность ментальной симуляции, можно ли облегчить или затруднить ментальную симуляцию, какие модальности или аспекты модальностей можно симулировать и т.д. Результаты подобных исследований могут получить широкое применение во многих областях человеческой жизни, начиная от обучения и заканчивая рекламной деятельностью.
