📄Работа №185542
Тема: ИСПОЛЬЗОВАНИЕ ДИФФУЗИОННОЙ МОДЕЛИ ДЛЯ РАЗРЕШЕНИЯ КОРЕФЕРЕНЦИЙ
Характеристики работы
Тип работы
Бакалаврская работа
Предмет
Программирование
Объем:
49 листов
Год:
2024
Просмотров:
65
4490
руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание
АННОТАЦИЯ 3
Перечень условных обозначений, символов, сокращений, терминов 4
Введение 7
1. Структурное предсказание 9
1.1. Применение в бизнесе 9
1.2. Разрешение кореференций 10
2. Языковые модели 11
2.1. Основная идея языковых моделей 11
2.2. Токенизация 11
2.3. LLM 15
2.4. Диффузионные модели 17
3. DiffusionNER 20
3.1. Подход 20
3.2. Функция потерь 22
4. Решение задачи Preference resolution 23
4.1. Предыдущие работы 23
4.2. Набор данных 24
4.3. Анализ данных 24
4.4. Подход к решению задачи 26
4.5. Задача о назначениях 28
4.6. Функция потерь 29
5. Используемые метрики 31
5.1. Precision, Recall, F1 31
5.2. Пример кластеризации 32
5.3. MUC 33
5.4. B3 33
5.5. CEAFe 33
6. Имплементация 35
6.1. Ключевые библиотеки и фреймворки 35
6.2. Архитектура 35
6.3. Обучение 36
7. Тестирование разработанного подхода 38
7.1. Метрики качества 38
7.2. Скорость работы 39
7.3. Гиперпараметры 39
7.4. Среда для обучения модели 40
8. Результаты 41
Заключение 42
Список использованных источников и литературы 43
Перечень условных обозначений, символов, сокращений, терминов 4
Введение 7
1. Структурное предсказание 9
1.1. Применение в бизнесе 9
1.2. Разрешение кореференций 10
2. Языковые модели 11
2.1. Основная идея языковых моделей 11
2.2. Токенизация 11
2.3. LLM 15
2.4. Диффузионные модели 17
3. DiffusionNER 20
3.1. Подход 20
3.2. Функция потерь 22
4. Решение задачи Preference resolution 23
4.1. Предыдущие работы 23
4.2. Набор данных 24
4.3. Анализ данных 24
4.4. Подход к решению задачи 26
4.5. Задача о назначениях 28
4.6. Функция потерь 29
5. Используемые метрики 31
5.1. Precision, Recall, F1 31
5.2. Пример кластеризации 32
5.3. MUC 33
5.4. B3 33
5.5. CEAFe 33
6. Имплементация 35
6.1. Ключевые библиотеки и фреймворки 35
6.2. Архитектура 35
6.3. Обучение 36
7. Тестирование разработанного подхода 38
7.1. Метрики качества 38
7.2. Скорость работы 39
7.3. Гиперпараметры 39
7.4. Среда для обучения модели 40
8. Результаты 41
Заключение 42
Список использованных источников и литературы 43
📖 Введение
Разрешение кореференций (Coreference resolution, [23]) - классическая задача в области обработки естественного языка (Natural Language Processing, NLP), которая заключается в выделении всех упоминаний одного и того же объекта в тексте. Разрешение кореференций — сложная задача, поскольку требует хорошего понимания контекста и способности распознавать сложные взаимосвязи между словами и фразами. Однако эта задача имеет решающее значение во многих приложениях, таких, как поиск информации [7], обобщение текста [20], ответы на вопросы [21], анализ настроений [16] и машинный перевод [27].
В данной работе исследуются возможности решения данной задачи с помощью языковой модели, использующей диффузионный подход, широко используемый в области компьютерного зрения.
Исследование данного подхода может помочь не только в понимании его перспективности, но и создать общий подход к решению задачи разрешения кореференций.
Данная работа вдохновлена работой [8], решающей задачу NER. на основе диффузионного подхода в пространстве низкой размерности, который описан в главе 4. Мы применяем аналогичный подход к решению задачи разрешения кореференций.
Проверка качества разработанного подхода производилась на англоязычной части датасета Ontonotes [28] с использованием устоявшихся для решаемой задачи метрик B-cube, CEAFe и MUC, описанных в главе 5.
С учетом вышесказанного, были выделены следующие основные задачи работы.
Задачи работы:
1. Проверить работоспособность решения для задачи NER, на основе которого делается работа.
2. Преобразовать датасет Ontonotes в подходящий для модели формат и разделить на обучающую, валидационную и тестовую выборки.
3. Сформировать и проверить гипотезы по способам адаптации выбранного решения к задаче разрешения кореференций.
4. Измерить метрики качества работы модели и проанализировать результаты.
5. Сформулировать выводы касательно эффективности разработанного подхода в сравнении с альтернативными решениями.
В данной работе исследуются возможности решения данной задачи с помощью языковой модели, использующей диффузионный подход, широко используемый в области компьютерного зрения.
Исследование данного подхода может помочь не только в понимании его перспективности, но и создать общий подход к решению задачи разрешения кореференций.
Данная работа вдохновлена работой [8], решающей задачу NER. на основе диффузионного подхода в пространстве низкой размерности, который описан в главе 4. Мы применяем аналогичный подход к решению задачи разрешения кореференций.
Проверка качества разработанного подхода производилась на англоязычной части датасета Ontonotes [28] с использованием устоявшихся для решаемой задачи метрик B-cube, CEAFe и MUC, описанных в главе 5.
С учетом вышесказанного, были выделены следующие основные задачи работы.
Задачи работы:
1. Проверить работоспособность решения для задачи NER, на основе которого делается работа.
2. Преобразовать датасет Ontonotes в подходящий для модели формат и разделить на обучающую, валидационную и тестовую выборки.
3. Сформировать и проверить гипотезы по способам адаптации выбранного решения к задаче разрешения кореференций.
4. Измерить метрики качества работы модели и проанализировать результаты.
5. Сформулировать выводы касательно эффективности разработанного подхода в сравнении с альтернативными решениями.
✅ Заключение
Описанное решение реализовано в виде программного модуля с возможностью запуска экспериментов с различными гиперпараметрами.
Качество работы представленного подхода работает хорошо для локализаций упоминаний и удовлетворительно для связывания упоминаний между собой, поэтому следует продолжить исследование способов связывания упоминаний.
Примененный к локализации подход возможно использовать в других задачах, где требуется нахождение промежутков токенов в тексте
Результаты данной работы оформлены в статью «Диффузионное разрешение кореференций» и будут опубликованы в сборнике в рамках XXI Международной научно-практической конференции студентов, аспирантов и молодых ученых «МОЛОДЕЖЬ И СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ» [22].
Качество работы представленного подхода работает хорошо для локализаций упоминаний и удовлетворительно для связывания упоминаний между собой, поэтому следует продолжить исследование способов связывания упоминаний.
Примененный к локализации подход возможно использовать в других задачах, где требуется нахождение промежутков токенов в тексте
Результаты данной работы оформлены в статью «Диффузионное разрешение кореференций» и будут опубликованы в сборнике в рамках XXI Международной научно-практической конференции студентов, аспирантов и молодых ученых «МОЛОДЕЖЬ И СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ» [22].
ИЛИ
Поиск аналога
📕 Список литературы
🖼 Скриншоты
🛒 Оформить заказ
⚡ Работу высылаем в течении 5 минут после оплаты.