ВВЕДЕНИЕ 5
ГЛАВА 1. СЛОВОСОЧЕТАНИЯ В ЯЗЫКЕ 8
1.1. Отношения между словами 8
1.2. Понятие сочетаемости. 9
1.3. Устойчивые словосочетания 11
1.4.1. Классификация устойчивых словосочетаний по В.В.Виноградову 12
1.4.2. Классификация устойчивых словосочетаний по А.Н. Баранову и Д.О. Добровольскому 13
Выводы по главе 1 20
ГЛАВА 2. МЕТОДЫ ВЫЯВЛЕНИЯ УСТОЙЧИВЫХ СЛОВОСОЧЕТАНИЙ 21
2.1. Корпуса текстов как исходный материал для выявления коллокаций 21
2.2. Коллокации и их извлечение 24
2.3. Факторы, от которых зависит качество работы методов 25
2.4. Меры лексической ассоциации 26
2.5. Классификация мер ассоциации 29
Выводы по главе 2 32
ГЛАВА 3. МЕТОДЫ И КРИТЕРИИ ОЦЕНКИ 34
3.1. Точность и полнота 35
3.2. F-мера 36
3.3. Средняя точность 36
3.4. Составление золотого стандарта 36
Выводы по главе 3 37
ГЛАВА 4. ОЦЕНКА АВТОМАТИЧЕСКИХ МЕТОДОВ ИЗВЛЕЧЕНИЯ КОЛЛОКАЦИЙ 38
4.1. Эксперимент 41
4.2. Оценка результатов 58
Выводы по главе 4 60
ЗАКЛЮЧЕНИЕ 62
Список литературы 63
Источники золотого стандарта 66
Приложение
Важность и роль выражений из нескольких слов, т.е. устойчивых словосочетаний, в прикладной лингвистике и в сфере обработки естественного языка давно признаны. Тем не менее, эти единицы требуют дальнейшего изучения. Ранее, без помощи компьютерных устройств, научное исследование было сопряжено с многими техническими трудностями, но при наличии соответствующих инструментов исследования стало проще, быстрее и удобнее.
Наш научный интерес сосредоточен на устойчивых сочетаниях, в состав которых входят сочетания разных типов.
Существуют различные методы автоматического выявления устойчивых словосочетаний (коллокаций) на базе больших корпусов текстов. В целом процедура заключается в отборе кандидатов в коллокации на основе выбранных критериев.
Помимо выявления устойчивых словосочетаний, нужна еще и оценка методов их выявления. Суть исследования заключается в том, чтобы проанализировать возможные и доступные автоматические методы, сравнить их, выявить положительные и отрицательные стороны и предложить вариант их улучшения или применения в зависимости от полученного результата.
Актуальность работы состоит в том, что эта тема в современной компьютерной лингвистике важна как в теоретическом, так и в практическом плане. Выявление устойчивых словосочетаний значимо для составления словарей, а также для использования их в самых разных прикладных задачах. Кроме того, эта задача представляет собой еще и теоретическое исследование, изучающее закономерности сочетаемости языковых единиц.
Объект изучения - устойчивые словосочетания.
Предмет исследования – методы автоматического извлечения на основе мер ассоциации и способы оценки их применимости и эффективности.
Материалом исследования послужили данные различных корпусов и инструменты корпусных систем.
Цель исследования - выяснить, насколько эффективны и релевантны меры ассоциации.
Сформулированная таким образом цель определила ряд стоящих перед нами задач:
1. описать понятие сочетаемости
2. рассмотреть методы выявления устойчивых словосочетаний;
3. описать меры ассоциации
4. выбрать метрики для оценки методов выявления устойчивых словосочетаний;
5. провести эксперименты по выявлению коллокаций;
6. провести оценку эффективности мер ассоциации;
7. наметить пути повышения эффективности методов выявления коллокаций.
Методы исследования включают использование корпусных инструментов, предназначенных для извлечения словосочетаний, их настройку, статистическую обработку данных путем сопоставления их с ассоциативными, толковыми, фразеологическими словарями, экспертную оценку.
Существует несколько точек зрения на определение термина устойчивое словосочетание, в данной работе мы будем рассматривать устойчивые словосочетания с точки зрения корпусной лингвистики, то есть опираясь на статистические методы. Также в нашей работе слово «словосочетание» будет заменяться на выражение коллокация, в соответствии с зарубежным термином collocation или multiword expression.
Практическая значимость данной работы заключается в том, что полученные результаты могут быть применены при решении различных задач прикладной лингвистики. Можно предположить, что итоги исследования окажутся полезными при составлении словарей, корпусов, снятии семантической неоднозначности.
Работа состоит из введения, четырех глав, заключения, списка литературы и приложений. В первой главе рассказывается про отношения в языке, дается определение понятию "словосочетания" и приводится классификация устойчивых словосочетаний. Во второй главе обсуждаются методы извлечения коллокаций и дается классификация и описание мер лексической ассоциации. Третья глава посвящена методам и критериям оценки как таковой в целом и оценки методов извлечения устойчивых словосочетаний. Четвертая глава содержит описание эксперимента и оценки работы мер ассоциации различными способами.
В данном исследовании были описаны меры лексической ассоциации и проведена оценка их эффективности с помощью золотого стандарта, оценки людей-экспертов и вычисления точности. В качестве золотого стандарта была собрана база устойчивых словосочетаний на основе различных толковых и фразеологических словарей.
Была проделана работа по выявлению корреляции между данными автоматического извлечения коллокаций и наполнением нашего золотого стандарта. При этом учитывалось, на основе какого количества мер была извлечена коллокация и в каком количестве словарей она присутствует. Результатом явилось то наблюдение, что информация об устойчивых словосочетаниях в словарных статьях неполная - многие коллокации, выданные мерами ассоциации, отсутствуют в словарях. Те же коллокации были высоко оценены экспертами, что свидетельствует об их "истинности". Представляется возможным включить такие устойчивые словосочетания в словари, таким образом обновляя их.
С помощью вычисления точности мер был проведен анализ эффективности мер ассоциации. Лучшей мерой оказалась мера MI, далее следуют MI.log_f и Min.sensitivity. Это значит, что в подобных исследованиях в первую очередь следует применять именно их.
В целом все меры ассоциации показали высокий уровень работоспособности в сравнении со словарями.
Практическая и научная значимость данной работы связана с возможностью сравнить ее с похожими исследованиями, сопоставить результаты. В последней главе это действие выполнено и наблюдение показывает, что встречаются похожие цифры и результаты.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
