ОЦЕНКА ПОЛНОТЫ ИЗВЛЕЧЕНИЯ КОНЦЕПТУАЛЬНЫХ МЕТАФОР С ПОМОЩЬЮ ПРОЦЕДУРЫ MIPVU И СТАТИСТИЧЕСКИХ МЕТОДОВ (НА МАТЕРИАЛЕ КНИГ ПО САМОПОМОЩИ ПРИ АЛКОГОЛЬНОЙ ЗАВИСИМОСТИ)
|
АННОТАЦИЯ 3
ВВЕДЕНИЕ 3
ГЛАВА 1. КОНЦЕПТУАЛЬНАЯ МЕТАФОРА В ДИСКУРСЕ 6
1.1 Положения ТКМ и о метафоре в дискурсе 6
1.2 Сущность концептуальной метафоры 6
1.3 Основание метафоры и ее обработка в мышлении 7
1.4 Метафора в дискурсе 10
ГЛАВА 2. ПОДХОДЫ К ВЫЯВЛЕНИЮ КОНЦЕПТУАЛЬНОЙ МЕТАФОРЫ И ЕЕ РЕАЛИЗАЦИЙ В ТЕКСТЕ 13
2.1 Ручная процедура выявления концептуальных метафор в тексте 13
2.2 Использование компьютерных технологий при анализе метафор 14
2.2.1 Подходы к анализу концептуальных метафор с использованием машинного
обучения 15
2.2.2 Подходы к анализу концептуальных метафор с использованием корпусных
технологий 16
2.2.3 Меры связанности коллокатов 19
2.2.4 Характеристики мер связанности коллокатов 22
2.2.4.1 Взаимная информация (Mutual Information) 23
2.2.4.2 T-Score 24
ГЛАВА 3. СРАВНЕНИЕ ПОЛНОТЫ ИЗВЛЕЧЕНИЯ КОНЦЕПТУАЛЬНЫХ
МЕТАФОР С ПОМОЩЬЮ РАЗНЫХ МЕР СВЯЗИ 27
3.1 Характеристика корпуса 27
3.2 Описание алгоритма исследования 28
3.3 Анализ обнаруженных коллокаций 30
3.3.1 Результаты использования меры Взаимной информации 30
3.3.2 Результаты использования меры T-Score 42
3.3.3 Результаты идентификации метафор вручную 58
3.3.4 Сопоставительный анализ результатов 60
3.3.4.1 Качественный анализ 60
3.3.4.2 Количественный анализ 67
ЗАКЛЮЧЕНИЕ 70
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 72
ПРИЛОЖЕНИЕ А 76
ПРИЛОЖЕНИЕ Б 79
ВВЕДЕНИЕ 3
ГЛАВА 1. КОНЦЕПТУАЛЬНАЯ МЕТАФОРА В ДИСКУРСЕ 6
1.1 Положения ТКМ и о метафоре в дискурсе 6
1.2 Сущность концептуальной метафоры 6
1.3 Основание метафоры и ее обработка в мышлении 7
1.4 Метафора в дискурсе 10
ГЛАВА 2. ПОДХОДЫ К ВЫЯВЛЕНИЮ КОНЦЕПТУАЛЬНОЙ МЕТАФОРЫ И ЕЕ РЕАЛИЗАЦИЙ В ТЕКСТЕ 13
2.1 Ручная процедура выявления концептуальных метафор в тексте 13
2.2 Использование компьютерных технологий при анализе метафор 14
2.2.1 Подходы к анализу концептуальных метафор с использованием машинного
обучения 15
2.2.2 Подходы к анализу концептуальных метафор с использованием корпусных
технологий 16
2.2.3 Меры связанности коллокатов 19
2.2.4 Характеристики мер связанности коллокатов 22
2.2.4.1 Взаимная информация (Mutual Information) 23
2.2.4.2 T-Score 24
ГЛАВА 3. СРАВНЕНИЕ ПОЛНОТЫ ИЗВЛЕЧЕНИЯ КОНЦЕПТУАЛЬНЫХ
МЕТАФОР С ПОМОЩЬЮ РАЗНЫХ МЕР СВЯЗИ 27
3.1 Характеристика корпуса 27
3.2 Описание алгоритма исследования 28
3.3 Анализ обнаруженных коллокаций 30
3.3.1 Результаты использования меры Взаимной информации 30
3.3.2 Результаты использования меры T-Score 42
3.3.3 Результаты идентификации метафор вручную 58
3.3.4 Сопоставительный анализ результатов 60
3.3.4.1 Качественный анализ 60
3.3.4.2 Количественный анализ 67
ЗАКЛЮЧЕНИЕ 70
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 72
ПРИЛОЖЕНИЕ А 76
ПРИЛОЖЕНИЕ Б 79
Анализ концептуальных метафор крупных текстов представляет собой трудоемкий и времязатратный процесс, который, однако, становится необходимостью при оценке общих закономерностей в использовании метафорических лингвистических выражений в рамках конкретного объемного текста, корпуса текстов или даже дискурса, а также при составлении статистики используемых в них метафор.
Существуют технические средства, позволяющие упростить или даже частично автоматизировать процесс извлечения метафор из текста, что потенциально способно упростить задачу. Однако до сих пор самым надежным подходом при идентификации метафор являются процедуры, полагающиеся на анализ каждой лексической единицы человеком , ввиду чего многие эксперименты по оценке качества автоматической идентификации метафор используют анализ метафор человеком вручную как золотой стандарт для сравнения (например, для первоначальной разметки материала) .
Помимо анализа больших объемов текста, проблема корректного распознавания и интерпретации метафор компьютером значима для многих задач в области обработки естественного языка, таких как машинный перевод, информационный поиск, суммаризация текста и других .
Автоматические способы анализа метафор могут использовать различные технологии и алгоритмы, опираться на разные теоретические положения, что обуславливает их специфичность и неуниверсальность. Одни подходы могут быть эффективнее других в зависимости от цели и предмета исследования или характера материала. Некоторые подходы оказываются весьма эффективными, например, на материале словосочетаний типа «прилагательное - существительное» , но ввиду своей логики работы не могут быть применимы к более длинным отрезкам контекста, в отличие от других, которые, напротив, демонстрируют меньшую эффективность, но способны учитывать более широкий контекст, включая даже анафорические единицы .
Иными словами, компьютерная обработка метафор в тексте - активно развивающаяся область обработки естественного языка. В последние годы все большее внимание уделяется моделирование метафоры с помощью методов машинного обучения, так как такие подходы не полагаются на наличие больших объемов «запрограммированных знаний» (“hand-coded knowledge”) , но способны интерпретировать крайне большие объемы данных, доступные в настоящее время.
Фокус данной работы не в исследовании алгоритмов машинного обучения, а в попытке оценить эффективность подхода к анализу дискурса для исследователя, не специализирующегося на обработке естественного языка, но имеющего цель получить представление о тенденциях метафоризации в крупных объемах текста.
В данной работе испытывается и оценивается один из таких подходов с использованием технических средств, не требующих значительной технической подготовки (как исследователя, так и материала), в чем и заключается ее новизна. Помимо этого, делается попытка сделать обобщенные выводы об использовании метафор в книгах по самопомощи при алкогольной зависимости. Информация об этом позволяет предположить потенциальный эффект, оказываемый проанализированными текстами на читателя. Таким образом, актуальность работы заключается в оценке эффективности исследуемого подхода при анализе концептуальных метафор, а также в методологических находках, связанных с использованием данного подхода и практических рекомендациях.
Работа опирается на ранее апробированный корпусный подход с использованием метрик связанности коллокатов в корпусе книг по самопомощи при алкогольной зависимости , расширяя его использованием и оценкой различных метрик в сравнении с определенным порогом, задаваемым случайным извлечением потенциально метафорических контекстов из корпуса. Таким образом были определены квалификационные параметры работы:
Объект исследования — лингвистические выражения концептуальных метафор, связанных со сферой-мишенью АЛКОГОЛИЗМ в корпусе книг по самопомощи при алкогольной зависимости.
Предмет исследования — концептуальные метафоры, связанные со сферой-мишенью АЛКОГОЛИЗМ, в корпусе книг по самопомощи при алкогольной зависимости; практические преимущества и трудности, связанные с использованием корпусных методов при идентификации метафор в корпусе книг по самопомощи при алкогольной зависимости.
Цель исследования — оценить эффективность способов извлечения концептуальных метафор с использованием статистических мер связи коллокатов для задачи установления тенденций метафоризации сферы-мишени «алкоголизм» в корпусе.
Методы исследования: статистический метод, сопоставительный метод, методика MIPVU.
Задачи исследования:
1. Изучить теоретические источники о понятии дискурса, природе концептуальной метафоры и ее функционировании в применении к исследуемой сфере-мишени АЛКОГОЛИЗМ или смежным областям;
2. Сделать теоретический обзор методов идентификации метафор с использованием технических средств;
3. Сделать теоретический обзор статистических метрик связанности коллокатов;
4. Создать лингвистический корпус из книг по самопомощи при алкогольной зависимости;
5. Сформулировать алгоритм идентификации метафор с использованием описанных метрик;
6. Обнаружить в рассматриваемом корпусе потенциально метафорические коллокации со сферой-мишенью АЛКОГОЛИЗМ, используя описанные метрики;
7. Выявить концептуальные метафоры в контекстах обнаруженных коллокаций;
8. Проанализировать результаты использования статистических метрик;
9. Сделать выводы относительно достоинств и недостатков корпусных методов при идентификации метафор.
В главе 1 будут разобраны теоретические положения теории концептуальных метафор, будет проведен обзор имеющейся информации об их влиянии на концептуализацию состояний человека. В главе 2 будут рассмотрены подходы к идентификации метафор в большом объеме текстов с помощью компьютерных технологий, а также охарактеризованы статистические метрики для проведения исследования. В главе 3 будет сформулирован алгоритм исследования, а также будут приведены и проанализированы репрезентативные конкордансы обнаруженных коллокаций вместе с анализом результатов использования статистических метрик связи коллокатов. В заключительной части будут сделаны общие выводы о практичности исследуемого метода.
Существуют технические средства, позволяющие упростить или даже частично автоматизировать процесс извлечения метафор из текста, что потенциально способно упростить задачу. Однако до сих пор самым надежным подходом при идентификации метафор являются процедуры, полагающиеся на анализ каждой лексической единицы человеком , ввиду чего многие эксперименты по оценке качества автоматической идентификации метафор используют анализ метафор человеком вручную как золотой стандарт для сравнения (например, для первоначальной разметки материала) .
Помимо анализа больших объемов текста, проблема корректного распознавания и интерпретации метафор компьютером значима для многих задач в области обработки естественного языка, таких как машинный перевод, информационный поиск, суммаризация текста и других .
Автоматические способы анализа метафор могут использовать различные технологии и алгоритмы, опираться на разные теоретические положения, что обуславливает их специфичность и неуниверсальность. Одни подходы могут быть эффективнее других в зависимости от цели и предмета исследования или характера материала. Некоторые подходы оказываются весьма эффективными, например, на материале словосочетаний типа «прилагательное - существительное» , но ввиду своей логики работы не могут быть применимы к более длинным отрезкам контекста, в отличие от других, которые, напротив, демонстрируют меньшую эффективность, но способны учитывать более широкий контекст, включая даже анафорические единицы .
Иными словами, компьютерная обработка метафор в тексте - активно развивающаяся область обработки естественного языка. В последние годы все большее внимание уделяется моделирование метафоры с помощью методов машинного обучения, так как такие подходы не полагаются на наличие больших объемов «запрограммированных знаний» (“hand-coded knowledge”) , но способны интерпретировать крайне большие объемы данных, доступные в настоящее время.
Фокус данной работы не в исследовании алгоритмов машинного обучения, а в попытке оценить эффективность подхода к анализу дискурса для исследователя, не специализирующегося на обработке естественного языка, но имеющего цель получить представление о тенденциях метафоризации в крупных объемах текста.
В данной работе испытывается и оценивается один из таких подходов с использованием технических средств, не требующих значительной технической подготовки (как исследователя, так и материала), в чем и заключается ее новизна. Помимо этого, делается попытка сделать обобщенные выводы об использовании метафор в книгах по самопомощи при алкогольной зависимости. Информация об этом позволяет предположить потенциальный эффект, оказываемый проанализированными текстами на читателя. Таким образом, актуальность работы заключается в оценке эффективности исследуемого подхода при анализе концептуальных метафор, а также в методологических находках, связанных с использованием данного подхода и практических рекомендациях.
Работа опирается на ранее апробированный корпусный подход с использованием метрик связанности коллокатов в корпусе книг по самопомощи при алкогольной зависимости , расширяя его использованием и оценкой различных метрик в сравнении с определенным порогом, задаваемым случайным извлечением потенциально метафорических контекстов из корпуса. Таким образом были определены квалификационные параметры работы:
Объект исследования — лингвистические выражения концептуальных метафор, связанных со сферой-мишенью АЛКОГОЛИЗМ в корпусе книг по самопомощи при алкогольной зависимости.
Предмет исследования — концептуальные метафоры, связанные со сферой-мишенью АЛКОГОЛИЗМ, в корпусе книг по самопомощи при алкогольной зависимости; практические преимущества и трудности, связанные с использованием корпусных методов при идентификации метафор в корпусе книг по самопомощи при алкогольной зависимости.
Цель исследования — оценить эффективность способов извлечения концептуальных метафор с использованием статистических мер связи коллокатов для задачи установления тенденций метафоризации сферы-мишени «алкоголизм» в корпусе.
Методы исследования: статистический метод, сопоставительный метод, методика MIPVU.
Задачи исследования:
1. Изучить теоретические источники о понятии дискурса, природе концептуальной метафоры и ее функционировании в применении к исследуемой сфере-мишени АЛКОГОЛИЗМ или смежным областям;
2. Сделать теоретический обзор методов идентификации метафор с использованием технических средств;
3. Сделать теоретический обзор статистических метрик связанности коллокатов;
4. Создать лингвистический корпус из книг по самопомощи при алкогольной зависимости;
5. Сформулировать алгоритм идентификации метафор с использованием описанных метрик;
6. Обнаружить в рассматриваемом корпусе потенциально метафорические коллокации со сферой-мишенью АЛКОГОЛИЗМ, используя описанные метрики;
7. Выявить концептуальные метафоры в контекстах обнаруженных коллокаций;
8. Проанализировать результаты использования статистических метрик;
9. Сделать выводы относительно достоинств и недостатков корпусных методов при идентификации метафор.
В главе 1 будут разобраны теоретические положения теории концептуальных метафор, будет проведен обзор имеющейся информации об их влиянии на концептуализацию состояний человека. В главе 2 будут рассмотрены подходы к идентификации метафор в большом объеме текстов с помощью компьютерных технологий, а также охарактеризованы статистические метрики для проведения исследования. В главе 3 будет сформулирован алгоритм исследования, а также будут приведены и проанализированы репрезентативные конкордансы обнаруженных коллокаций вместе с анализом результатов использования статистических метрик связи коллокатов. В заключительной части будут сделаны общие выводы о практичности исследуемого метода.
В ходе работы были выполнены поставленные задачи:
1. Разобраны теоретические источники в области концептуальной метафоры, ее функционировании в дискурсе и в области автоматизированных подходов к извлечению концептуальных метафор;
2. Был создан репрезентативный лингвистический корпус для проведения исследования;
3. Был сформулирован алгоритм анализа, позволяющий оценить эффективность использования статистических мер связи коллокатов для цели выявления характера метафоризации сферы-мишени АЛКОГОЛИЗМ в корпусе;
4. В ходе применения статистических мер связи было проанализировано 3783 контекста, извлеченных из корпуса исследуемыми методами;
5. Был проведен сопоставительный анализ выявленных разными методами тенденций метафоризации сферы-мишени АЛКОГОЛИЗМ в количественном и качественном аспекте;
6. Были сделаны выводы об эффективности использования статистических мер связи коллокатов для цели выявления характера метафоризации сферы-мишени АЛКОГОЛИЗМ в корпусе.
Было показано, что использование статистических мер связи коллокатов является достаточным способом для широкого описания концептуальных метафор сферы-мишени АЛКОГОЛИЗМ в корпусе. Сравнение полноты извлечения метафор с помощью мер связи проводилось в сопоставлении со случайным извлечением потенциально метафорических контекстов из корпуса, что позволило установить, насколько использование статистических мер связи в действительности способствует обнаружению достаточного количества разнообразных метафор при минимизации усилий.
Было обнаружено, что тенденция меры T-score выделять частотные коллокации является ее недостатком в аспекте трудозатрат при использовании. Выделение частотных коллокаций в большинстве случаев приводит к формированию квазислучайной выборки за счет большого количества контекстов, в результате чего использование этой меры иногда может не обладать преимуществом в сравнении со случайным извлечением потенциально метафорических контекстов из корпуса. Предполагается, что выбор T-score является оправданным при исследовании конвенциональных метафор, поскольку их частотность повысит вероятность выделения их с помощью T-score, благодаря чему становится возможным быстро сделать надежный вывод о наличии определенной тенденции метафоризации в корпусе.
Мера Взаимной информации была признана самой эффективной в аспекте соотношения количества и разнообразия обнаруженных метафор и затраченных усилий. Не удалось объяснить повышенную долю метафорических контекстов в выборке, сформированной с помощью ВИ, частотностью выделяемых коллокатов и формированием квазислучайной выборки. Это может указывать на истинную тенденцию ВИ выявлять коллокаты, контексты которых будут с большей вероятностью содержать метафору. Размер этого эффекта оценивается в 10%. В качестве недостатка ВИ были выделены недостаточность ее использования для заключения вывода о распространенности метафоры в корпусе, а также склонность «засорять» выборку коллокатов опечатками и артефактами предобработки и распознавания текста.
1. Разобраны теоретические источники в области концептуальной метафоры, ее функционировании в дискурсе и в области автоматизированных подходов к извлечению концептуальных метафор;
2. Был создан репрезентативный лингвистический корпус для проведения исследования;
3. Был сформулирован алгоритм анализа, позволяющий оценить эффективность использования статистических мер связи коллокатов для цели выявления характера метафоризации сферы-мишени АЛКОГОЛИЗМ в корпусе;
4. В ходе применения статистических мер связи было проанализировано 3783 контекста, извлеченных из корпуса исследуемыми методами;
5. Был проведен сопоставительный анализ выявленных разными методами тенденций метафоризации сферы-мишени АЛКОГОЛИЗМ в количественном и качественном аспекте;
6. Были сделаны выводы об эффективности использования статистических мер связи коллокатов для цели выявления характера метафоризации сферы-мишени АЛКОГОЛИЗМ в корпусе.
Было показано, что использование статистических мер связи коллокатов является достаточным способом для широкого описания концептуальных метафор сферы-мишени АЛКОГОЛИЗМ в корпусе. Сравнение полноты извлечения метафор с помощью мер связи проводилось в сопоставлении со случайным извлечением потенциально метафорических контекстов из корпуса, что позволило установить, насколько использование статистических мер связи в действительности способствует обнаружению достаточного количества разнообразных метафор при минимизации усилий.
Было обнаружено, что тенденция меры T-score выделять частотные коллокации является ее недостатком в аспекте трудозатрат при использовании. Выделение частотных коллокаций в большинстве случаев приводит к формированию квазислучайной выборки за счет большого количества контекстов, в результате чего использование этой меры иногда может не обладать преимуществом в сравнении со случайным извлечением потенциально метафорических контекстов из корпуса. Предполагается, что выбор T-score является оправданным при исследовании конвенциональных метафор, поскольку их частотность повысит вероятность выделения их с помощью T-score, благодаря чему становится возможным быстро сделать надежный вывод о наличии определенной тенденции метафоризации в корпусе.
Мера Взаимной информации была признана самой эффективной в аспекте соотношения количества и разнообразия обнаруженных метафор и затраченных усилий. Не удалось объяснить повышенную долю метафорических контекстов в выборке, сформированной с помощью ВИ, частотностью выделяемых коллокатов и формированием квазислучайной выборки. Это может указывать на истинную тенденцию ВИ выявлять коллокаты, контексты которых будут с большей вероятностью содержать метафору. Размер этого эффекта оценивается в 10%. В качестве недостатка ВИ были выделены недостаточность ее использования для заключения вывода о распространенности метафоры в корпусе, а также склонность «засорять» выборку коллокатов опечатками и артефактами предобработки и распознавания текста.
