Проявление эффекта Мак-Гурка при восприятии аудиально-визуальных стимулов носителями русского языка
|
Введение 4
Глава 1. Аудиовизуальная интеграция и эффект Мак-Гурка 7
1.1. Объединение информации из разных каналов восприятия 7
1.2. Многомодальное объединение в сфере образования и когнитивная теория мультимедийного обучения 10
1.3. Аудиовизуальная интеграция 14
1.4. Влияние фактора родного языка на восприятие кросс-модальных данных 20
1.5. Другие факторы, влияющие на проявление эффекта Мак-Гурка 26
1.6. Аудиовизуальная интеграция у детей 29
1.7. Исследования на материале русского языка 32
1.8. Выводы по главе 36
Глава 2. Восприятие аудиовизуальных стимулов носителями русского языка 39
2.1. Эксперимент 1 39
2.1.1. Цель 39
2.1.2. Стимулы 39
2.1.3. Процедура эксперимента 40
2.1.4. Участники 42
2.1.5. Принципы обработки данных, аналитика 42
2.1.6. Результаты: различия по группам 43
2.1.7. Результаты: анализ количества ошибок 45
2.1.8. Выводы по ошибкам 47
2.1.9. Результаты: влияние предпочтительной модальности восприятия 48
2.1.10. Общие выводы по Эксперименту 1 49
2.2. Эксперимент 2 51
2.2.1. Цель 51
2.2.2. Стимулы 51
2.2.3. Процедура эксперимента 52
2.2.4. Участники 53
2.2.5. Принципы обработки данных, аналитика 53
2.2.6. Результаты 54
2.2.7. Выводы по Эксперименту 2 56
2.3. Эксперимент 3 56
2.3.1. Цель 56
2.3.2. Процедура 57
2.3.3. Участники 57
2.3.4. Принципы обработки данных, аналитика 58
2.3.5. Результаты 58
2.3.6. Выводы 60
Заключение 62
Список литературы 66
Глава 1. Аудиовизуальная интеграция и эффект Мак-Гурка 7
1.1. Объединение информации из разных каналов восприятия 7
1.2. Многомодальное объединение в сфере образования и когнитивная теория мультимедийного обучения 10
1.3. Аудиовизуальная интеграция 14
1.4. Влияние фактора родного языка на восприятие кросс-модальных данных 20
1.5. Другие факторы, влияющие на проявление эффекта Мак-Гурка 26
1.6. Аудиовизуальная интеграция у детей 29
1.7. Исследования на материале русского языка 32
1.8. Выводы по главе 36
Глава 2. Восприятие аудиовизуальных стимулов носителями русского языка 39
2.1. Эксперимент 1 39
2.1.1. Цель 39
2.1.2. Стимулы 39
2.1.3. Процедура эксперимента 40
2.1.4. Участники 42
2.1.5. Принципы обработки данных, аналитика 42
2.1.6. Результаты: различия по группам 43
2.1.7. Результаты: анализ количества ошибок 45
2.1.8. Выводы по ошибкам 47
2.1.9. Результаты: влияние предпочтительной модальности восприятия 48
2.1.10. Общие выводы по Эксперименту 1 49
2.2. Эксперимент 2 51
2.2.1. Цель 51
2.2.2. Стимулы 51
2.2.3. Процедура эксперимента 52
2.2.4. Участники 53
2.2.5. Принципы обработки данных, аналитика 53
2.2.6. Результаты 54
2.2.7. Выводы по Эксперименту 2 56
2.3. Эксперимент 3 56
2.3.1. Цель 56
2.3.2. Процедура 57
2.3.3. Участники 57
2.3.4. Принципы обработки данных, аналитика 58
2.3.5. Результаты 58
2.3.6. Выводы 60
Заключение 62
Список литературы 66
Восприятие информации является процессом, влияющим на всю жизнь человека и во многом определяющим успех коммуникации. С раннего возраста мы учимся познавать мир через каналы восприятия с помощью органов чувств. Сегодня учёные активно изучают способы обработки различной информации человеком, а новейшие разработки влияют на медицину, образование, развитие систем синтеза и распознавания речи, которые облегчают пользователю работу, которая ранее подразумевала бы ввод информации вручную. Несомненно, методы получения, обработки и вывода информации рассматриваются многими науками с самых разных точек зрения и по сей день. Психолингвистика не стала исключением.
Это исследование рассматривает некоторые принципы работы познавательных процессов и их связь с ведущими каналами восприятия. Речь идёт в том числе о различных аспектах восприятия, или перцепции, то есть процесса обработки сенсорной информации, в результате которой мы интерпретируем окружающий мир как совокупность предметов и событий, формируя идеальную модель (субъективный образ) объективно существующей действительности.
В работе рассматривается такой феномен восприятия, как эффект Мак-Гурка, а также интерференция, многомодальное объединение и аудиовизуальная интеграция, связанные с ним. Первоочередной вопрос, поставленный нами, состоит в определении того, что оказывает влияние на силу и частоту проявлений этого эффекта. Гипотеза, выдвинутая в работе, заключается в том, что существуют определённые факторы (например, возраст и пол слушающего или диктора, а также определённые сочетания слогов), которые провоцируют наиболее сильные проявления эффекта Мак-Гурка.
Актуальность исследования обусловлена важностью изучения вопросов, связанных с мышлением и восприятием как для описания познавательных процессов человека, так и для развития современных речевых технологий, а также активным развитием этой области в последние годы. Несмотря на большое количество работ, посвящённых проявлению эффекта Мак-Гурка у носителей разных языков, до недавнего времени подобных исследований на материале русского языка не существовало. Целью данного исследования является изучение эффекта Мак-Гурка и выявление факторов, влияющих на его проявление.
Для её достижения необходимо решить следующие задачи:
• описать феномен аудиовизуальной интеграции и эффект Мак-Гурка как одно из его проявлений;
• изучить исследования эффекта Мак-Гурка, проведенные на материале разных языков;
• провести экспериментальное исследование восприятия неконгруэнтных аудиовизуальных стимулов носителями русского языка;
• выявить факторы, оказывающие влияние на проявление эффекта Мак-Гурка у носителей русского языка.
Объектом исследования является проявление эффекта Мак-Гурка у носителей русского языка, а предметом –факторы, влияющие на его проявление.
Основным методом исследования является психолингвистический эксперимент, включающий в себя задание на восприятие аудиовизуальных стимулов. Следовательно, материалом работы являются данные, полученные в ходе эксперимента.
Новизна работы в первую очередь обусловлена практически полным отсутствием подобных исследований на материале русского языка. В будущем данное исследование могло бы дополнить знания о процессах мультимодальной обработки в целом и эффекте Мак-Гурка в частности как в кросс-языковой, так и в сугубо русскоязычной среде, что определяет теоретическую значимость работы, и внести практический вклад в такие сферы, как дубляж фильмов и распознавание речи человека компьютером.
Промежуточные результаты исследования обсуждались на семинарах исследовательской группы «Спектр» (руководитель – Е.И. Риехакайнен), а также были представлены на XXIVмеждународной конференции SPECOMв докладе «Shouldwebelieveoureyesorourears? ProcessingincongruentaudiovisualstimulibyRussianlisteners»инаXВсероссийской научно-практической конференции «Центральные механизмы речи» имени проф. Н.Н. Трауготт в докладе «Проявление эффекта Мак-Гурка при восприятии речи носителями русского языка». Исследование выполняется при поддержке гранта №21-18-00429 Российского научного фонда (рук. – Т.В. Черниговская).
Это исследование рассматривает некоторые принципы работы познавательных процессов и их связь с ведущими каналами восприятия. Речь идёт в том числе о различных аспектах восприятия, или перцепции, то есть процесса обработки сенсорной информации, в результате которой мы интерпретируем окружающий мир как совокупность предметов и событий, формируя идеальную модель (субъективный образ) объективно существующей действительности.
В работе рассматривается такой феномен восприятия, как эффект Мак-Гурка, а также интерференция, многомодальное объединение и аудиовизуальная интеграция, связанные с ним. Первоочередной вопрос, поставленный нами, состоит в определении того, что оказывает влияние на силу и частоту проявлений этого эффекта. Гипотеза, выдвинутая в работе, заключается в том, что существуют определённые факторы (например, возраст и пол слушающего или диктора, а также определённые сочетания слогов), которые провоцируют наиболее сильные проявления эффекта Мак-Гурка.
Актуальность исследования обусловлена важностью изучения вопросов, связанных с мышлением и восприятием как для описания познавательных процессов человека, так и для развития современных речевых технологий, а также активным развитием этой области в последние годы. Несмотря на большое количество работ, посвящённых проявлению эффекта Мак-Гурка у носителей разных языков, до недавнего времени подобных исследований на материале русского языка не существовало. Целью данного исследования является изучение эффекта Мак-Гурка и выявление факторов, влияющих на его проявление.
Для её достижения необходимо решить следующие задачи:
• описать феномен аудиовизуальной интеграции и эффект Мак-Гурка как одно из его проявлений;
• изучить исследования эффекта Мак-Гурка, проведенные на материале разных языков;
• провести экспериментальное исследование восприятия неконгруэнтных аудиовизуальных стимулов носителями русского языка;
• выявить факторы, оказывающие влияние на проявление эффекта Мак-Гурка у носителей русского языка.
Объектом исследования является проявление эффекта Мак-Гурка у носителей русского языка, а предметом –факторы, влияющие на его проявление.
Основным методом исследования является психолингвистический эксперимент, включающий в себя задание на восприятие аудиовизуальных стимулов. Следовательно, материалом работы являются данные, полученные в ходе эксперимента.
Новизна работы в первую очередь обусловлена практически полным отсутствием подобных исследований на материале русского языка. В будущем данное исследование могло бы дополнить знания о процессах мультимодальной обработки в целом и эффекте Мак-Гурка в частности как в кросс-языковой, так и в сугубо русскоязычной среде, что определяет теоретическую значимость работы, и внести практический вклад в такие сферы, как дубляж фильмов и распознавание речи человека компьютером.
Промежуточные результаты исследования обсуждались на семинарах исследовательской группы «Спектр» (руководитель – Е.И. Риехакайнен), а также были представлены на XXIVмеждународной конференции SPECOMв докладе «Shouldwebelieveoureyesorourears? ProcessingincongruentaudiovisualstimulibyRussianlisteners»инаXВсероссийской научно-практической конференции «Центральные механизмы речи» имени проф. Н.Н. Трауготт в докладе «Проявление эффекта Мак-Гурка при восприятии речи носителями русского языка». Исследование выполняется при поддержке гранта №21-18-00429 Российского научного фонда (рук. – Т.В. Черниговская).
Аудиовизуальная интеграция является частным случаем объединения многомодальных данных, при котором задействуется одновременно аудиальная и визуальная информация. Существуют исследования, которые доказывают, что восприятие устной речи напрямую зависит не только от того, что человек слышит, но и от того, что он видит. Эффект Мак-Гурка – это феномен, при котором тот, кто воспринимает речь, не может правильно определить, что слышит, если движения губ говорящего не совпадают со звуковым сигналом. Учёные по всему миру изучают проявления этого эффекта. Существуют данные о корреляции между интерференцией, возникающей при восприятии неконгруэнтных стимулов, и возрастом и полом слушающего, а также о влиянии конкретных сочетаний слогов, при которых аудиовизуальные стимулы чаще воспринимаются неверно.
Однако восприятие речи лингвоспецифично, и данные для каждого языка уникальны. Подобных исследований на базе русского практически нет. Опираясь на опыт иностранных коллег, мы предположили, что существует ряд факторов, которые могут влиять на то, как эффект выражается у русскоговорящих слушателей. Чтобы проверить это, был проведён ряд экспериментов, направленных на выявление того, от чего зависят проявления эффекта Мак-Гурка. Мы также хотели узнать, повлияет ли так называемая ведущая перцептивная модальность на успешность прохождения экспериментов и можно ли изучаемый в рамках исследования эффект использовать для диагностики предпочтительного канала восприятия.
Для всех трёх экспериментов были созданы специальные стимулы. Для этого носители русского языка проговаривали на камеру определённые наборы слогов. Затем видеодорожка одного стимула накладывалась на звуковую дорожку другого, и таким образом получались неконгруэнтные стимулы, т.е. такие, визуальная и аудиальная информация которых не совпадала. Поскольку традиционно для подобного рода экспериментов используются слоги с гласным /a/, мы также выбрали слоги только с этим гласным. При создании стимулов звонкие согласные объединялись только со звонкими, а глухие – с глухими. Это было сделано для того, чтобы проверить, влияет ли фактор звонкости/глухости согласного в слоге-стимуле на результат его интерпретации. Верными во всех случаях признавались такие ответы, которые совпадали со звуковой составляющей аудиовизуального стимула.
В первом эксперименте 60 школьникам и 60 взрослым, проходившим эксперимент онлайн, предлагались различные комбинации слогов /ba/, /va/, /da/, /pa/, /ta/ и /fa/ (из них было составлено 18 стимулов). Результаты эксперимента показали, что у школьников эффект был выражен не так сильно, как у взрослых, однако различия между группами были относительно небольшими и достаточно условными. Для выявления ведущего канала восприятия был использован опросник С. Ефремцева, который состоит из 48 вопросов, предполагающих ответы «да»/«нет». Данные эксперимента показали, что ведущая перцептивная модальность не влияла на то, как участники интерпретировали стимулы Мак-Гурка. Таким образом, гипотеза о значимой роли когнитивных стилей в процессе аудиовизуальной обработки речи не подтвердилась.
Во втором и третьем экспериментах использовались одни и те же стимулы, записанные на профессиональном оборудовании. Было выбрано восемь слогов: /ba/, /va/, /ga/, /da/, /ka/, /pa/, /ta/ и /fa/, из которых были составлены 32 сочетания.
Поскольку контролировать следование участником инструкций в прошлый раз было невозможно, было принято решение запрограммировать второй эксперимент с помощью ПО PsychoPy и собирать ответы для каждого участника по отдельности и в присутствии экспериментатора. В третьем эксперименте участники для прохождения эксперимента объединялись в группы по 8–15 человек. Каждой группе предлагалось одновременно посмотреть видео с последовательностью стимулов и записать свой ответ на бумаге. Целью обоих экспериментов была проверка того, как изменение условий восприятия (например, использование более качественных видео и наушников или прохождение эксперимента в составе группы) повлияет на проявление эффекта Мак-Гурка.
Данные 32 человек в возрасте от 18 до 31 года во втором эксперименте и 40 человек в возрасте от 18 до 22 лет в третьем эксперименте показали, во-первых, существенно меньшее количество ошибок среди участников (около 90% всех ответов в обоих экспериментах были верными). Что касается неверных ответов, то здесь интересно сравнить результаты всех трёх экспериментов: в первом из них большая часть ошибочных ответов совпадала с визуальной составляющей стимула. Анализ данных второго и третьего экспериментов показал иной результат: даже ошибаясь, визуальную составляющую участники идентифицировали реже всего.
Все три эксперимента показали, что фактор звонкости/глухости согласного в слогах-стимулах не влияет на количество условно «верных» ответов на неконгруэнтные стимулы. Стимулом, спровоцировавшим наибольшее количество ошибок во всех трёх экспериментах, оказался vaBA, где первый слог обозначает артикуляцию, а второй – звук. Это означает, что наибольшее количество неверных ответов встречается при произнесении губного смычного согласного и артикуляции губно-зубного щелевого.
Хотя и во втором, и в третьем эксперименте женщины давали больше неверных ответов, чем мужчины, только во втором эксперименте этот фактор оказался статистически значимым, что говорит о перспективах дальнейшего изучения влияния гендерного фактора на количество правильных ответов у участников.
Таким образом, нами были выявлены некоторые закономерности в проявлении эффекта Мак-Гурка у носителей русского языка. Однако существует множество пока не изученных вопросов, которые требуют дальнейшего рассмотрения. Ведь, помимо теоретического вклада в науку, подобные работы могут найти практическое применение. Например, в сфере дубляжа, где чёткое совпадение артикуляции и звука могло бы привести к лучшему пониманию и большему погружению в фильм или сериал. К тому же эффект Мак-Гурка активно изучается как один из важных феноменов, связанных с распознаванием речи компьютером. В будущем, опираясь на эти данные, люди смогут улучшить и синтез, и распознавание речи и «научить» машину лучше понимать человека.
Однако восприятие речи лингвоспецифично, и данные для каждого языка уникальны. Подобных исследований на базе русского практически нет. Опираясь на опыт иностранных коллег, мы предположили, что существует ряд факторов, которые могут влиять на то, как эффект выражается у русскоговорящих слушателей. Чтобы проверить это, был проведён ряд экспериментов, направленных на выявление того, от чего зависят проявления эффекта Мак-Гурка. Мы также хотели узнать, повлияет ли так называемая ведущая перцептивная модальность на успешность прохождения экспериментов и можно ли изучаемый в рамках исследования эффект использовать для диагностики предпочтительного канала восприятия.
Для всех трёх экспериментов были созданы специальные стимулы. Для этого носители русского языка проговаривали на камеру определённые наборы слогов. Затем видеодорожка одного стимула накладывалась на звуковую дорожку другого, и таким образом получались неконгруэнтные стимулы, т.е. такие, визуальная и аудиальная информация которых не совпадала. Поскольку традиционно для подобного рода экспериментов используются слоги с гласным /a/, мы также выбрали слоги только с этим гласным. При создании стимулов звонкие согласные объединялись только со звонкими, а глухие – с глухими. Это было сделано для того, чтобы проверить, влияет ли фактор звонкости/глухости согласного в слоге-стимуле на результат его интерпретации. Верными во всех случаях признавались такие ответы, которые совпадали со звуковой составляющей аудиовизуального стимула.
В первом эксперименте 60 школьникам и 60 взрослым, проходившим эксперимент онлайн, предлагались различные комбинации слогов /ba/, /va/, /da/, /pa/, /ta/ и /fa/ (из них было составлено 18 стимулов). Результаты эксперимента показали, что у школьников эффект был выражен не так сильно, как у взрослых, однако различия между группами были относительно небольшими и достаточно условными. Для выявления ведущего канала восприятия был использован опросник С. Ефремцева, который состоит из 48 вопросов, предполагающих ответы «да»/«нет». Данные эксперимента показали, что ведущая перцептивная модальность не влияла на то, как участники интерпретировали стимулы Мак-Гурка. Таким образом, гипотеза о значимой роли когнитивных стилей в процессе аудиовизуальной обработки речи не подтвердилась.
Во втором и третьем экспериментах использовались одни и те же стимулы, записанные на профессиональном оборудовании. Было выбрано восемь слогов: /ba/, /va/, /ga/, /da/, /ka/, /pa/, /ta/ и /fa/, из которых были составлены 32 сочетания.
Поскольку контролировать следование участником инструкций в прошлый раз было невозможно, было принято решение запрограммировать второй эксперимент с помощью ПО PsychoPy и собирать ответы для каждого участника по отдельности и в присутствии экспериментатора. В третьем эксперименте участники для прохождения эксперимента объединялись в группы по 8–15 человек. Каждой группе предлагалось одновременно посмотреть видео с последовательностью стимулов и записать свой ответ на бумаге. Целью обоих экспериментов была проверка того, как изменение условий восприятия (например, использование более качественных видео и наушников или прохождение эксперимента в составе группы) повлияет на проявление эффекта Мак-Гурка.
Данные 32 человек в возрасте от 18 до 31 года во втором эксперименте и 40 человек в возрасте от 18 до 22 лет в третьем эксперименте показали, во-первых, существенно меньшее количество ошибок среди участников (около 90% всех ответов в обоих экспериментах были верными). Что касается неверных ответов, то здесь интересно сравнить результаты всех трёх экспериментов: в первом из них большая часть ошибочных ответов совпадала с визуальной составляющей стимула. Анализ данных второго и третьего экспериментов показал иной результат: даже ошибаясь, визуальную составляющую участники идентифицировали реже всего.
Все три эксперимента показали, что фактор звонкости/глухости согласного в слогах-стимулах не влияет на количество условно «верных» ответов на неконгруэнтные стимулы. Стимулом, спровоцировавшим наибольшее количество ошибок во всех трёх экспериментах, оказался vaBA, где первый слог обозначает артикуляцию, а второй – звук. Это означает, что наибольшее количество неверных ответов встречается при произнесении губного смычного согласного и артикуляции губно-зубного щелевого.
Хотя и во втором, и в третьем эксперименте женщины давали больше неверных ответов, чем мужчины, только во втором эксперименте этот фактор оказался статистически значимым, что говорит о перспективах дальнейшего изучения влияния гендерного фактора на количество правильных ответов у участников.
Таким образом, нами были выявлены некоторые закономерности в проявлении эффекта Мак-Гурка у носителей русского языка. Однако существует множество пока не изученных вопросов, которые требуют дальнейшего рассмотрения. Ведь, помимо теоретического вклада в науку, подобные работы могут найти практическое применение. Например, в сфере дубляжа, где чёткое совпадение артикуляции и звука могло бы привести к лучшему пониманию и большему погружению в фильм или сериал. К тому же эффект Мак-Гурка активно изучается как один из важных феноменов, связанных с распознаванием речи компьютером. В будущем, опираясь на эти данные, люди смогут улучшить и синтез, и распознавание речи и «научить» машину лучше понимать человека.