Введение
1. Анализ литературы
1.1 Исследование контекстной предсказуемости с помощью cloze-теста .9
1.2. Основные математические модели контекстной предсказуемости ...11
1.2.1. Информационная энтропия.
1.2.3. Метрика MI (Mutual Information)
1.2.4. Метрика t-score
1.2.5. Метрика Dice
1.2.6. Метрика surprise
1.2.7. Метрика salience
2. Методика и материалы исследования
2.1. Выбор методик для дальнейшего исследования..................................19
2.2. Обоснование материала. Формирование корпусов текстов ...............20
2.3. Выбор программных средств для построения модели........................23
3. Написание модульной программы..
3.1. Постановка задачи
3.2. Токенизация
3.3. Лемматизация
3.4. Генерация множества биграмм.
3.5. Вычисление признаков и метрик.
3.5.1. Энтропийная характеристика.
3.5.2. Условная вероятность.
3.5.3. Метрика Dice
3.5.4. Метрика surprisal
3.6. Генерация модели текста
3.7. Структурированный вывод
3.8 Выделение сильно связанных сегментов текста...................................39
4. Анализ результатов вычислительного эксперимента ...............................42
4.1. Сравнение значений признаков контекстной предсказуемости.........42
4.2. Практическое применение построенной модели. Исправление
опечаток и снятие неоднозначности
4.3 Анализ выделенных цепочек слов
5. Оценка выбранных признаков с помощью эксперимента с
информантами.
5.1. Подготовка и проведение эксперимента
5.2. Анализ полученных результатов.
Заключение
Список использованных источников
Приложение А. Среднее значение признаков контекстной предсказуемости
по каждому из исследуемых текстов
Приложение Б. Инструкция по прохождению теста.....................................61
Приложение В. Бланк теста, предложенный информантам .........................62
Приложение Г. Сводные таблицы ответов информантов..
Информационная избыточность – это неотъемлемое свойство любого текста, особенно с точки зрения теории информации. И именно благодаря этому свойству человек успешно воспринимает и понимает как устный,
так и письменный тексту. Избыточность является неотъемлемым свойством любого языка и поэтому присуща всем текстам без исключения, но в разной степени, в зависимости от функционального стиля текста [1].
С вопросом об избыточности текста тесно связано понятие контекстной предсказуемости, т.е. предугадывания слова на основе контекста. Эффект контекстной предсказуемости по сути является противопоставлением информационной избыточности, демонстрируя, что для восприятия и понимания текста не все его слова являются равнозначными.
В данной работе производится анализ различных вычислительных методов исследования контекстной предсказуемости, выделяются наиболее адекватные метрики и признаки для дальнейшей проверки в ходе построения модели текста и оценки ее работы по каждому из признаков, производится составление корпусов текстов художественного и научного стилей. Исследование, проведенное в рамках выпускной квалификационной работы, предполагает проведение вычислительного анализа на основе корпусов научных и художественных текстов и эксперимента с информантами.
Основной целью проведения исследования является выявление зависимости реализации процедур контекстной предсказуемости от жанровых и стилевых характеристик текста.
Решаются следующие задачи:
•! Анализ литературы, позволяющий выбрать наиболее адекватные
методы исследования контекстной предсказуемости;
•! Подбор и обоснование материала для будущего исследования;7
•! Формирование корпусов текстов различных стилей и жанров;
•! Выбор и обоснование основных методик исследования;
•! Написание программы, реализующей такие модули как :
o! препроцессинг (токенизация, ламатизация),
o! модули, реализующие признаки контекстной предсказуемости
(энтропийные признаки, различные меры связности и т.д.)
•! Проведение эксперимента с информантами
•! Оценка эффективности модели по каждому из признаков.
Изучение контекстной предсказуемости предполагает учет многих аспектов, так как эта тема является междисциплинарной. Один из них – психологический аспект. Существует много различных исследований зависимости контекстной предсказуемости и скорости чтения человека, его движении глаз при чтении [2] и др.
С другой стоны, изучение контекстной предсказуемости необходимо непосредственно для лингвистики, психологии, восприятия и анализа текста. Такие методы исследования как проведение cloze-текстов, тестов направленных на восстановление недостающих элементов текста, позволяют оценить степень владения языком информантами, readability текста (например, решение вопроса о понятности текстов наподобие текстов инструкций) [3], а так же проанализировать особенности обучения данному языку [3, 4, 5, 6, 7].
Но особенно актуален вопрос контекстной предсказуемости в компьютерной лингвистике, при решении задач связанных с автоматической обработкой текстов [8].
В частности, для распознавания и исправления опечаток в тексте при решении различных задач, связанных с дальнейшей обработкой текста.
Используя принципы контекстной предсказуемости, при невозможности распознать слово, можно предположить, что в нем допущена опечатка, и8 далее – восстановить правильное слово. В таком случае, восстановить исходное слово, то которое подразумевалось, возможно с помощью контекста. И после сравнения наиболее вероятных вариантов в этом контексте со словом с возможной опечаткой, сделать выводы.
Также контекстная предсказуемость может помочь в выделении ключевых
слов в тексте и коллокаций [9]. Словосочетание, являющееся коллокацией, имеет признаки целостной семантической и синтаксической единицы, для него показатели контекстной предсказуемости будут велики. Ключевые слова, напротив, являются основным источником новой и значимой информации в тексте, следовательно, их контекстная предсказуемость будет невелика, особенно при первых их появлениях.
Таким образом, актуальность и практическая значимость исследования контекстной предсказуемости очень высоки для разнообразных областей, связанных с автоматической обработкой текста
Вопрос исследования контекстной предсказуемости в современной компьютерной лингвистике является актуальным и практически значимым для решения различных задач связанных с автоматической обработкой текста. Данная тема является интересной в силу своей междисциплинарности и многоплановости возможных исследований.
Научная новизна исследования заключается в сопоставлении признаков контекстной предсказуемости для различных функциональных стилей.
В рамках данного исследования были проанализированы различные методы изучения контекстной предсказуемости и выбраны наиболее адекватные метрики и признаки для дальнейшей проверки в ходе вычислительного эксперимента.
На втором этапе были сформированы корпуса разных стилей и жанров в соответствии с составленным списком признаков, выбранных методов и информационных технологий для дальнейшего исследования.
Подготовленные материалы – сформированные корпуса текстов художественного и научного стилей и список отобранных метрик – послужили основой для дальнейшей практической части исследования, в рамках которой был проведен вычислительный эксперимент.
Была написана модульная программа на языке Python, позволяющая построить модель текста, реализующую различные признаки контекстной предсказуемости и проведена оценка ее работы, в том числе с помощью проведения cloze-теста.
Эксперимент с информантами подтвердил эффективность и работоспособность построенной модели текстов, а также наметил возможные пути для дальнейшего развития исследования и совершенствования написанной программы.
По результатам построения моделей текстов подтвердилась гипотеза об ожидаемом более высоком показателе контекстной предсказуемости для корпуса научных текстов по сравнению с художественными.
Полученные результаты могут использоваться для решения различных практических задач, связанных с автоматической обработкой текстов.
Апробация данной работы прошла на заседании секции "Компьютерная лингвистика" Ежегодного научно-практического семинара "Новые информационные технологии в автоматизированных системах" (Институт прикладной математики им. М.В. Келдыша РАН, МИЭМ ВШЭ, Московский государственный технический университет им. Н.Э. Баумана).
По материалам проведенного семинара была опубликована статья Крутченко О.В. Классификация ключевых слов для описания новостных кластеров (в соавторстве с Мартина В.С., Соколова Д.Ю., Флуд Д.В.), статья индексируема в базе РИНЦ [39]
Помощь студентам и аспирантам в выполнении работ от наших партнеров
