АННОТАЦИЯ 3
Перечень условных обозначений, символов, сокращений, терминов 4
Введение 7
1. Структурное предсказание 9
1.1. Применение в бизнесе 9
1.2. Разрешение кореференций 10
2. Языковые модели 11
2.1. Основная идея языковых моделей 11
2.2. Токенизация 11
2.3. LLM 15
2.4. Диффузионные модели 17
3. DiffusionNER 20
3.1. Подход 20
3.2. Функция потерь 22
4. Решение задачи Preference resolution 23
4.1. Предыдущие работы 23
4.2. Набор данных 24
4.3. Анализ данных 24
4.4. Подход к решению задачи 26
4.5. Задача о назначениях 28
4.6. Функция потерь 29
5. Используемые метрики 31
5.1. Precision, Recall, F1 31
5.2. Пример кластеризации 32
5.3. MUC 33
5.4. B3 33
5.5. CEAFe 33
6. Имплементация 35
6.1. Ключевые библиотеки и фреймворки 35
6.2. Архитектура 35
6.3. Обучение 36
7. Тестирование разработанного подхода 38
7.1. Метрики качества 38
7.2. Скорость работы 39
7.3. Гиперпараметры 39
7.4. Среда для обучения модели 40
8. Результаты 41
Заключение 42
Список использованных источников и литературы 43
Разрешение кореференций (Coreference resolution, [23]) - классическая задача в области обработки естественного языка (Natural Language Processing, NLP), которая заключается в выделении всех упоминаний одного и того же объекта в тексте. Разрешение кореференций — сложная задача, поскольку требует хорошего понимания контекста и способности распознавать сложные взаимосвязи между словами и фразами. Однако эта задача имеет решающее значение во многих приложениях, таких, как поиск информации [7], обобщение текста [20], ответы на вопросы [21], анализ настроений [16] и машинный перевод [27].
В данной работе исследуются возможности решения данной задачи с помощью языковой модели, использующей диффузионный подход, широко используемый в области компьютерного зрения.
Исследование данного подхода может помочь не только в понимании его перспективности, но и создать общий подход к решению задачи разрешения кореференций.
Данная работа вдохновлена работой [8], решающей задачу NER. на основе диффузионного подхода в пространстве низкой размерности, который описан в главе 4. Мы применяем аналогичный подход к решению задачи разрешения кореференций.
Проверка качества разработанного подхода производилась на англоязычной части датасета Ontonotes [28] с использованием устоявшихся для решаемой задачи метрик B-cube, CEAFe и MUC, описанных в главе 5.
С учетом вышесказанного, были выделены следующие основные задачи работы.
Задачи работы:
1. Проверить работоспособность решения для задачи NER, на основе которого делается работа.
2. Преобразовать датасет Ontonotes в подходящий для модели формат и разделить на обучающую, валидационную и тестовую выборки.
3. Сформировать и проверить гипотезы по способам адаптации выбранного решения к задаче разрешения кореференций.
4. Измерить метрики качества работы модели и проанализировать результаты.
5. Сформулировать выводы касательно эффективности разработанного подхода в сравнении с альтернативными решениями.
Описанное решение реализовано в виде программного модуля с возможностью запуска экспериментов с различными гиперпараметрами.
Качество работы представленного подхода работает хорошо для локализаций упоминаний и удовлетворительно для связывания упоминаний между собой, поэтому следует продолжить исследование способов связывания упоминаний.
Примененный к локализации подход возможно использовать в других задачах, где требуется нахождение промежутков токенов в тексте
Результаты данной работы оформлены в статью «Диффузионное разрешение кореференций» и будут опубликованы в сборнике в рамках XXI Международной научно-практической конференции студентов, аспирантов и молодых ученых «МОЛОДЕЖЬ И СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ» [22].
