Методы извлечения информации о продукте из пользовательских объявлений в социальных сетях
|
1. Введение 4
1.1. Цель работы 5
1.2. Задачи работы 5
1.3. Результаты работы 5
2. Постановка задачи 7
2.1. Определения 7
2.2. Формулировка 8
3. Обзор предметной области 9
3.1. Подходы к извлечению информации из текстов 9
3.2. Подходы с применением машинного обучения 9
3.2.1 Encoder-Decoder 10
3.2.2 Decoder-only 11
3.2.3 NERRE 11
4. Предлагаемый метод 13
4.1. Какая задача решалась 13
4.2. Пилотное исследование 13
4.3. Данные 13
4.3.1 Сбор данных 13
4.3.2 Обработка данных 14
4.3.3 Разметка данных 15
4.4. Эксперименты 17
4.4.1 Модели 17
4.4.2 Форматы 17
4.4.3 Прочие идеи 18
5. Детали экспериментов 19
5.1. Параметры обучений 19
5.2. Оценка качества 20
5.2.1 Метрики 20
5.3. Автоматический подсчёт метрик 21
5.3.1 Ручной подсчёт метрик 21
5.4. Оценка времени работы 22
6. Результаты 23
6.1. Автоматическая оценка качества 23
6.1.1 Сравнение моделей ruT5-base 24
6.1.2 Модели ruT5-large 25
6.1.3 Модели FRED-T5 25
6.2. Ручная оценка качества 27
6.3. Оценка времени работы 28
Заключение 30
Список литературы 31
7. Приложения 33
7.1. Промпты для разметки и валидации 33
7.2. Финансы 34
7.3. Github 34
7.4. Визуализация доверительных интервалов 34
1.1. Цель работы 5
1.2. Задачи работы 5
1.3. Результаты работы 5
2. Постановка задачи 7
2.1. Определения 7
2.2. Формулировка 8
3. Обзор предметной области 9
3.1. Подходы к извлечению информации из текстов 9
3.2. Подходы с применением машинного обучения 9
3.2.1 Encoder-Decoder 10
3.2.2 Decoder-only 11
3.2.3 NERRE 11
4. Предлагаемый метод 13
4.1. Какая задача решалась 13
4.2. Пилотное исследование 13
4.3. Данные 13
4.3.1 Сбор данных 13
4.3.2 Обработка данных 14
4.3.3 Разметка данных 15
4.4. Эксперименты 17
4.4.1 Модели 17
4.4.2 Форматы 17
4.4.3 Прочие идеи 18
5. Детали экспериментов 19
5.1. Параметры обучений 19
5.2. Оценка качества 20
5.2.1 Метрики 20
5.3. Автоматический подсчёт метрик 21
5.3.1 Ручной подсчёт метрик 21
5.4. Оценка времени работы 22
6. Результаты 23
6.1. Автоматическая оценка качества 23
6.1.1 Сравнение моделей ruT5-base 24
6.1.2 Модели ruT5-large 25
6.1.3 Модели FRED-T5 25
6.2. Ручная оценка качества 27
6.3. Оценка времени работы 28
Заключение 30
Список литературы 31
7. Приложения 33
7.1. Промпты для разметки и валидации 33
7.2. Финансы 34
7.3. Github 34
7.4. Визуализация доверительных интервалов 34
В современном мире мы окружены технологиями, которые уже давно стали частью нашей жизни. Так, для поиска информации не обязательно идти в библиотеку: практически всё необходимое можно найти в сети Интернет (далее - интернет). Классический поиск предполагает выдачу ссылок на релевантные источники информации, что универсально, но не всегда удобно. Например, если релевантных источников очень много, изучить все может быть весьма проблематично.
«Классический» сценарий поиска и покупки товара в интернете содержит следующие шаги:
• Поиск релевантных интернет-магазинов, то есть интернет-магазинов, в которых может продаваться нужный товар.
• Поиск товара на сайте каждого из найденных интернет-магазинов, сравнение предложений.
Так как релевантная информация распределена по множеству веб-страниц, пользователь вынужден проделать большое количество однообразной монотонной работы, объём которой хочется минимизировать. Для этого у компании "Яндекс"есть товарный поиск, позволяющий собирать предложения о продаже товаров в одном месте.
Работает это следующим образом: на этапе индексации (Опр. 1) товарные объявления с сайтов интернет-магазинов также попадают в индекс, что позволяет им впоследствии попадать в поисковую выдачу, когда они релевантны запросу. Это даёт пользователю возможность просматривать предложения непосредственно на странице поиска, а переходить к источнику нужно лишь в случае заинтересованности предложением. Таким образом, товарный поиск собирает вместе большое количество объявлений о продаже искомых товаров.
Однако есть ещё значительный класс объявлений, которые не индексируются и, как следствие, не могут попасть в поисковую выдачу. Это объявления, размещённые в социальных сетях. При этом там есть довольно большое количество активных сообществ типа «барахолка» (Рис. 1), в которых пользователи размещают объявления о продаже своих товаров. Эти объявления могут представлять интерес для потенциальных покупателей, поэтому их также важно учитывать и индексировать.
Проблема заключается в том, что с социальными сетями нельзя работать так же, как с классическими интернет-магазинами. Сайты интернет-магазинов имеют структуру (например, html-разметку), и, пользуясь знанием этой структуры, можно довольно легко извлекать всю необходимую информацию о товаре для последующего размещения в поисковой выдаче. Для этого подходят классические методы парсинга (Опр. 2) веб-страниц. Более того, некоторые ресурсы сами предоставляют информацию о своих товарах. Но с социальными сетями всё сложнее: во-первых, размещённые там объявления не имеют единой структуры, во-вторых, одно объявление может содержать сразу несколько товаров. Эти факторы делаю неприменимыми классические методы, для которых важно знание структуры объявления.
Задачи, неразрешимые с помощью классических методов, могут быть решены с помощью машинного обучения. Современные языковые модели - это мощные инструменты обработки естественного языка. Обученные на очень больших объёмах данных, они способны решать широкий спектр задач, таких как машинный перевод, обобщение текста, ответы на вопросы и даже генерация творческого письма. Это позволяет сформулировать гипотезу о том, что задача извлечения информации о товарах из объявлений также может быть решена с помощью генеративных языковых моделей.
1.1. Цель работы
Исследовать возможности применения методов машинного обучения для задачи извлечения информации о товарах из неструктурированных товарных объявлений. Разработать алгоритм с применением машинного обучения, решающий поставленную задачу.
1.2. Задачи работы
• Выбрать класс задач машинного обучения, к которому можно отнести поставленную задачу.
• Ознакомиться с известными решениями для задач выбранного класса.
• Собрать, обработать и разметить данные для обучения модели. Оценить качество данных.
• Провести эксперименты, обучить модель (модели) решать поставленную задачу.
• Сравнить обученные модели, проанализировать результаты.
Внедрение такой модели сделает товарный поиск лучше и удобнее, так как в нём будет больший ассортимент различных товаров, как новых, так и подержанных.
Работа над проектом велась в команде. Этап сбора и разметки данных был сделан мной пополам с напарником. Обучение моделей у каждого из участников проходило независимо друг от друга.
1.3. Результаты работы
• Было проведено пилотное исследование возможностей применения методов машинного обучения для решения задачи извлечения структурированной информации из товарных объявлений.
• Был собран уникальный датасет объявлений о продаже товаров, размещённых в социальных сетях;
• Был предложен двухэтапный способ разметки датасета с помощью GPT4: первый этап - разметка, второй - валидация разметки;
...
«Классический» сценарий поиска и покупки товара в интернете содержит следующие шаги:
• Поиск релевантных интернет-магазинов, то есть интернет-магазинов, в которых может продаваться нужный товар.
• Поиск товара на сайте каждого из найденных интернет-магазинов, сравнение предложений.
Так как релевантная информация распределена по множеству веб-страниц, пользователь вынужден проделать большое количество однообразной монотонной работы, объём которой хочется минимизировать. Для этого у компании "Яндекс"есть товарный поиск, позволяющий собирать предложения о продаже товаров в одном месте.
Работает это следующим образом: на этапе индексации (Опр. 1) товарные объявления с сайтов интернет-магазинов также попадают в индекс, что позволяет им впоследствии попадать в поисковую выдачу, когда они релевантны запросу. Это даёт пользователю возможность просматривать предложения непосредственно на странице поиска, а переходить к источнику нужно лишь в случае заинтересованности предложением. Таким образом, товарный поиск собирает вместе большое количество объявлений о продаже искомых товаров.
Однако есть ещё значительный класс объявлений, которые не индексируются и, как следствие, не могут попасть в поисковую выдачу. Это объявления, размещённые в социальных сетях. При этом там есть довольно большое количество активных сообществ типа «барахолка» (Рис. 1), в которых пользователи размещают объявления о продаже своих товаров. Эти объявления могут представлять интерес для потенциальных покупателей, поэтому их также важно учитывать и индексировать.
Проблема заключается в том, что с социальными сетями нельзя работать так же, как с классическими интернет-магазинами. Сайты интернет-магазинов имеют структуру (например, html-разметку), и, пользуясь знанием этой структуры, можно довольно легко извлекать всю необходимую информацию о товаре для последующего размещения в поисковой выдаче. Для этого подходят классические методы парсинга (Опр. 2) веб-страниц. Более того, некоторые ресурсы сами предоставляют информацию о своих товарах. Но с социальными сетями всё сложнее: во-первых, размещённые там объявления не имеют единой структуры, во-вторых, одно объявление может содержать сразу несколько товаров. Эти факторы делаю неприменимыми классические методы, для которых важно знание структуры объявления.
Задачи, неразрешимые с помощью классических методов, могут быть решены с помощью машинного обучения. Современные языковые модели - это мощные инструменты обработки естественного языка. Обученные на очень больших объёмах данных, они способны решать широкий спектр задач, таких как машинный перевод, обобщение текста, ответы на вопросы и даже генерация творческого письма. Это позволяет сформулировать гипотезу о том, что задача извлечения информации о товарах из объявлений также может быть решена с помощью генеративных языковых моделей.
1.1. Цель работы
Исследовать возможности применения методов машинного обучения для задачи извлечения информации о товарах из неструктурированных товарных объявлений. Разработать алгоритм с применением машинного обучения, решающий поставленную задачу.
1.2. Задачи работы
• Выбрать класс задач машинного обучения, к которому можно отнести поставленную задачу.
• Ознакомиться с известными решениями для задач выбранного класса.
• Собрать, обработать и разметить данные для обучения модели. Оценить качество данных.
• Провести эксперименты, обучить модель (модели) решать поставленную задачу.
• Сравнить обученные модели, проанализировать результаты.
Внедрение такой модели сделает товарный поиск лучше и удобнее, так как в нём будет больший ассортимент различных товаров, как новых, так и подержанных.
Работа над проектом велась в команде. Этап сбора и разметки данных был сделан мной пополам с напарником. Обучение моделей у каждого из участников проходило независимо друг от друга.
1.3. Результаты работы
• Было проведено пилотное исследование возможностей применения методов машинного обучения для решения задачи извлечения структурированной информации из товарных объявлений.
• Был собран уникальный датасет объявлений о продаже товаров, размещённых в социальных сетях;
• Был предложен двухэтапный способ разметки датасета с помощью GPT4: первый этап - разметка, второй - валидация разметки;
...
Было проведено пилотное исследование возможностей применения машинного обучения для извлечения информации о товарах из объявлений в социальных сетях.
В ходе работы было проделано следующее:
• Был собран и очищен датасет объявлений о продаже товаров из социальной сети «ВКонтакте» и мессенджера «Телеграм».
• Собранный датасет был размечен с помощью специально подобранного промпта GPT4.
• Была произведена валидация разметки датасета с помощью GPT4-асессора (модели GPT4, использующей специально подобранный валидационный промпт). Доля верно размеченных объявлений на валидацион- ной выборке после валидации асессором составила 0.89.
• На размеченном датасете с помощью метода «fine-tuning» были обучены русскоязычные языковые модели Т5-подобных архитектур. Было произведено сравнение моделей между собой по качеству обработки объявлений и по скорости работы.
• Были предложены и сравнены между собой различные форматы целевой последовательности: JustJson, SpecTokens и LightTokens. Нельзя однозначно ответить на вопрос, какой из позволяет добиться лучшего качества, однако было замечено, что формат LightTokens, вероятно, помогает уменьшить количество генераций с дубликатами, а модели, генерирующие последовательности в формате SpecTokens показывают в среднем более высокие значения полноты.
• Перемешивание товаров в целевой последовательности в процессе обучения, вероятно, выполняет роль «структурной регуляризации», добавляет в данные разнообразие, что в итоге позволяет добиться лучших значений полноты для больших моделей. Вместе с тем отсутствие перемешивания способствует уменьшению количества генераций с дубликатами.
• Увеличение пропорции объявлений, содержащих более одного товара, в обучающем датасете, приводит к улучшению качества, но только на объявлениях, в которых содержится несколько товаров.
• Скорость работы моделей зависит не столько от размера и архитектуры, сколько от объёма генерации: модели, генерирующие большое количество дубликатов, как правило, работаю дольше. Напротив, модели, генерирующие мало товаров, склонны работать быстрее.
• Лучшее качество показали модели большого размера - FRED-T5-1.7B. Они корректно извлекли более 80% товаров тестовой выборки, при это также более 80% сгенерированных ими товаров действительно содержались в тестовом датасете.
Проведённое пилотное исследование показало, что небольшие языковые модели способны качественно обрабатывать товарные объявления и извлекать из них продаваемые товары, значительно превосходя по скорости GPT4. Полученное высокое качество показывает перспективность подхода. При наличии данных с более качественной разметкой, которую можно получить с помощью краудсорсинга, можно рассчитывать как на менее шумные оценки качества, так и на лучшие результаты в целом.
В ходе работы было проделано следующее:
• Был собран и очищен датасет объявлений о продаже товаров из социальной сети «ВКонтакте» и мессенджера «Телеграм».
• Собранный датасет был размечен с помощью специально подобранного промпта GPT4.
• Была произведена валидация разметки датасета с помощью GPT4-асессора (модели GPT4, использующей специально подобранный валидационный промпт). Доля верно размеченных объявлений на валидацион- ной выборке после валидации асессором составила 0.89.
• На размеченном датасете с помощью метода «fine-tuning» были обучены русскоязычные языковые модели Т5-подобных архитектур. Было произведено сравнение моделей между собой по качеству обработки объявлений и по скорости работы.
• Были предложены и сравнены между собой различные форматы целевой последовательности: JustJson, SpecTokens и LightTokens. Нельзя однозначно ответить на вопрос, какой из позволяет добиться лучшего качества, однако было замечено, что формат LightTokens, вероятно, помогает уменьшить количество генераций с дубликатами, а модели, генерирующие последовательности в формате SpecTokens показывают в среднем более высокие значения полноты.
• Перемешивание товаров в целевой последовательности в процессе обучения, вероятно, выполняет роль «структурной регуляризации», добавляет в данные разнообразие, что в итоге позволяет добиться лучших значений полноты для больших моделей. Вместе с тем отсутствие перемешивания способствует уменьшению количества генераций с дубликатами.
• Увеличение пропорции объявлений, содержащих более одного товара, в обучающем датасете, приводит к улучшению качества, но только на объявлениях, в которых содержится несколько товаров.
• Скорость работы моделей зависит не столько от размера и архитектуры, сколько от объёма генерации: модели, генерирующие большое количество дубликатов, как правило, работаю дольше. Напротив, модели, генерирующие мало товаров, склонны работать быстрее.
• Лучшее качество показали модели большого размера - FRED-T5-1.7B. Они корректно извлекли более 80% товаров тестовой выборки, при это также более 80% сгенерированных ими товаров действительно содержались в тестовом датасете.
Проведённое пилотное исследование показало, что небольшие языковые модели способны качественно обрабатывать товарные объявления и извлекать из них продаваемые товары, значительно превосходя по скорости GPT4. Полученное высокое качество показывает перспективность подхода. При наличии данных с более качественной разметкой, которую можно получить с помощью краудсорсинга, можно рассчитывать как на менее шумные оценки качества, так и на лучшие результаты в целом.
