ПРИМЕНЕНИЕ RUGPT И PEFT ДЛЯ РЕФЕРИРОВАНИЯ РУССКОЯЗЫЧНЫХ НОВОСТНЫХ ТЕКСТОВ: ГЕНЕРАЦИЯ ЛИДОВ
|
ВВЕДЕНИЕ 3
1 Теоретические основы исследования 8
1.1 Жанровые особенности новостного текста и лида 8
1.2 Автоматизированная журналистика 10
1.3 Компьютерная лингвистика и её задачи 12
1.3 Машинное обучение и его роль в компьютерной лингвистике 13
1.4 Архитектура нейронной сети 14
1.4.1 Нейронные сети для работы с последовательностями 17
1.4.2 Трансформерная архитектура 23
1.5 Большие языковые модели 24
1.6 Задача суммаризации 28
1.6.1 Экстрактивный подход к задаче суммаризации 28
1.6.2 Абстрактивный подход к задаче суммаризации 29
1.6.3 Применение экстрактивных и абстрактивных методов суммаризации 31
ВЫВОДЫ ПО ПЕРВОЙ ГЛАВЕ 32
2 Архитектура языковой модели и процесс обучения 34
2.1 Архитектура GPT-2 34
2.2 Трансферное обучение 37
2.2.1 Параметрически эффективная настройка 38
2.2.2 Параметры и гиперпараметры модели 40
2.3 Метрики качества 40
2.4 Сбор, анализ и обработка данных 43
2.5 Используемый набор данных 44
2.6 Тонкая настройка модели 46
2.7 Результаты тонкой настройки 47
2.8 Оценка эффективности модели 52
ЗАКЛЮЧЕНИЕ 59
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 61
1 Теоретические основы исследования 8
1.1 Жанровые особенности новостного текста и лида 8
1.2 Автоматизированная журналистика 10
1.3 Компьютерная лингвистика и её задачи 12
1.3 Машинное обучение и его роль в компьютерной лингвистике 13
1.4 Архитектура нейронной сети 14
1.4.1 Нейронные сети для работы с последовательностями 17
1.4.2 Трансформерная архитектура 23
1.5 Большие языковые модели 24
1.6 Задача суммаризации 28
1.6.1 Экстрактивный подход к задаче суммаризации 28
1.6.2 Абстрактивный подход к задаче суммаризации 29
1.6.3 Применение экстрактивных и абстрактивных методов суммаризации 31
ВЫВОДЫ ПО ПЕРВОЙ ГЛАВЕ 32
2 Архитектура языковой модели и процесс обучения 34
2.1 Архитектура GPT-2 34
2.2 Трансферное обучение 37
2.2.1 Параметрически эффективная настройка 38
2.2.2 Параметры и гиперпараметры модели 40
2.3 Метрики качества 40
2.4 Сбор, анализ и обработка данных 43
2.5 Используемый набор данных 44
2.6 Тонкая настройка модели 46
2.7 Результаты тонкой настройки 47
2.8 Оценка эффективности модели 52
ЗАКЛЮЧЕНИЕ 59
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 61
Появление Интернета ознаменовало всплеск распространения информации во всех её формах, что значительно ускорило развитие многих наук [47]. Конечно, такие разделы лингвистики, как автоматическая обработка естественного языка и компьютерная лингвистика, также претерпели изменения. Компьютерная лингвистика — междисциплинарная область знаний, которая возникла на стыке лингвистики, математики, информатики и искусственного интеллекта. В компьютерной лингвистике объектом исследований являются тексты на естественном языке, а в качестве основного инструмента изучения языка используются компьютерные программы, компьютерные технологии организации и обработки данных [46]. Как особое научное направление компьютерных лингвистика связана с областью искусственного интеллекта, в рамках которой разрабатываются программные модели отдельных интеллектуальных функций.
Проблематика компьютерной лингвистики часто связывается с обеспечением взаимодействия человека с ЭВМ на естественном языке, а также с теорией и практикой информационно-поисковых систем. Обеспечение общения человека с ЭВМ на естественном языке иногда называется «обработка естественного языка». Оно изучает проблемы компьютерного анализа и синтеза естественного языка [52]. Данное направление возникло за рубежом в 1950 году после публикации основополагающей работы в области искусственного интеллекта «Вычислительные машины и разум», написанной английским учёным Аланом Тьюрингом. В настоящее время обработка естественного языка применяется для решения многих задач, основными из которых являются распознавание речи, понимание естественного языка и генерация естественного языка. Последнее является одним из наиболее актуальных направлений и применяется в роботизированной журналистике.
Автоматизация изменила работу журналистов: от анализа огромных объёмов данных до путей распространения информации. Роботизированная журналистика перешла на новый этап с появлением автоматической генерации текстов [17]. С помощью программ искусственного интеллекта статьи создаются компьютерами, а не людьми. Эти программы интерпретируют, систематизируют и представляют данные понятными для человека способами. Каждый этап процесса создания новости теперь может быть автоматизирован: «роботы-журналисты» могут создавать тысячи статей практически без больших затрат.
Из-за формульной природы автоматизации роботизированная журналистика в основном используется для создания новостей на основе статистики и числовых данных. Общие темы включают спортивные обзоры, погоду, финансовые отчеты, анализ недвижимости и обзоры доходов. В ноябре 2010 года цифровая медиакомпания Statsheet запустила сеть из 345 веб-сайтов, посвященных студенческим баскетбольным командам. Эти команды ежемесячно публикуют более 15 000 отчетов о матчах, обзоров игр и прочих статей, созданных без какого-либо вмешательства людей [39]. Алгоритмы автоматически генерируют тексты на основе игровой статистики и набора стандартных фраз. Associated Press начал использовать автоматизацию для охвата 10 000 игр в малые бейсбольные лиги ежегодно, используя программу от Automated Insights и статистику от MLB Advanced Media [32]. В мае 2020 Mi¬crosoft объявил, что заменит на роботов десятки журналистов, которые работают на портале корпорации MSN [4]. 8 сентября 2020 года The Guardian опубликовал статью, полностью сгенерированную нейронной сетью GPT-3 и отредактированную редактором-человеком [1].
Роботизированная журналистика имеет несколько преимуществ. Во-первых, автоматизация значительно увеличивает скорость и объемы производства информации. Associated Press объявил в 2014 году, что полностью автоматизирует написание отчетов о корпоративных доходах. Используя программное обеспечение Automated Insights и данные других компаний, они могут выпускать статьи объемом от 150 до 300 слов, в то же время журналистам приходится собирать цифры и готовить информацию [10]. Франческо Маркони из Associated Press заявил, что благодаря автоматизации информационное агентство освободило 20 процентов времени журналистов, чтобы сосредоточиться на проектах с более высокой отдачей.
Кроме того, автоматизированная журналистика экономически более выгодна, поскольку позволяет производить больше информации за меньшее время. Это также уменьшает затраты на рабочую силу для новостных организаций, поскольку сокращает расходы на заработную плату, оплачиваемый отпуск, отпускные и страхование трудовой деятельности. Автоматизация является эффективным инструментом для снижения издержек для новостных агентств, сталкивающихся с ограниченным бюджетом, но стремящихся сохранить объем и качество своего новостного охвата.
В данной работе представлена попытка применения искусственной нейронной сети ruGPT-3 для построения прототипа модели реферирования текста на примере генерации лида новостных текстов. Также рамках данной работы будут обучены языковые модели ruGPT-3 Medium и ruGPT-3 Large с применением метода LoRA. Предполагается, что данный метод позволит использовать значительно меньшее вычислительных ресурсов для обучения без потери качества по сравнению с другими методами. Для проверки данной гипотезы будет обучены две модели с применением данного метода и без. Результаты будут оцениваться с помощью формальных метрик (BLEU, METEOR, ROUGE, BERTScore).
Работа осуществляется в рамках проекта «Эпигон», разрабатываемого лабораторией лингвистической антропологии Национального исследовательского Томского Государственного Университета. Основной целью проекта является разработка цифровой платформы на основе применения алгоритмов и методов распознавания спонтанной речи и синтеза текста пресс-релизов и новости с целью автоматизации подготовки и публикации материалов в СМИ. В команду проекта входят научные сотрудники «Лаборатории лингвистической антропологии» и кафедры общей, компьютерной и когнитивной лингвистики ТГУ и программисты ООО «Интеллиджент Профит Солюшнс Томск» (ООО «АйПиЭсТи»). Команда проекта состоит из представителей различных областей знаний, что позволяет сформировать и использовать междисциплинарных подход для решения автоматического формирования новостных блоков на основе использования новейших достижений в области информационных и лингвистических технологий (технологии формальных грамматик и онтологий, баз знаний, машинного обучения, нейронных сетей). Проект выполняется под руководством З.И. Резановой и А.А. Степаненко.
За время реализации проекта апробирована генерация новостных заголовков на русском языке при помощи нейронных сетей (А.А. Шевчук, А.И. Здоровец, Д.А. Аишева). В предыдущих исследования использовались нейронные сети с архитектурами sequence-to-sequence (А.А. Шевчук), DEEP SEQ2SEQ (А.И. Здоровец) и Transformer (Д.А. Аишева).
Основываясь на результатах ранее проведенных исследований, в данной магистерской работе решается задача по автоматической генерации лидов новостных текстов посредством суммаризации. Разработка и создание инструмента осуществляется с помощью русскоязычной модели искусственной нейронной сети ruGPT-3.
Актуальность данной работы обусловлена нарастающей потребностью в эффективных инструментах для обработки текстовой информации в сфере новостей и медиа. В со-временном информационном обществе огромное количество данных генерируется и распространяется мгновенно, что требует быстрой и точной обработки. Оперативность стала ключевым фактором успеха в конкурентной среде новостных агентств и изданий. Разработка прототипа сервиса автоматической генерации новостных лидов на основе нейронной сети ruGPT-3 имеет большой потенциал для решения этих проблем. Нейронные сети обладают способностью обрабатывать и анализировать большие объемы текстовой информации, выделять ключевые аспекты и генерировать краткие и содержательные тексты. Кроме того, автоматическая генерация лидов на основе нейронных сетей может существенно улучшить работу журналистов и редакторов, освободив их от рутинных задач и позволив сконцентрироваться на более творческой и аналитической работе. Сокращение времени, затрачиваемого на прочитывание новостного текста и написания лида, позволит срочно реагировать на новости и оперативно создавать информационные продукты.
Основным материалом для исследования послужили новостные материалы с сайта федерального информационного агентства ТАСС объемом 33 000 текстов по рубрикам «Россия», «Мир» и «Коронавирус» с 2021 по 2023 годы. Набор данных состоит из заголовков, лидов, текстов новостей и ссылок на новость. Новостные материалы были получены путем извлечения данных с официального веб-сайта информационного агентства ТАСС с использованием специального парсера.
Объектом исследования является автоматическое реферирование текстов.
Предметом исследования является технология реферирования текста с применением нейронной сети на основе ruGPT-3 на примере генерации лидов новостных текстов и метода LoRA.
Цель работы состоит в создании и сравнении прототипов системы автоматической генерации лидов новостных текстов на основе нейронной сети ruGPT-3 с использованием метода LoRA и без него. Дополнительно было проведено сравнение эффективности модели ruGPT-3 Medium, обученной на наборе данных по одной рубрике ("Коронавирус"), и модели, обученной на смешанном наборе данных.
Достижение поставленной цели определяет круг задач:
1. Изучить особенности новостного текста, правил его построения, особенностей лида в структуре новости;
2. Изучить нейронные сети и определить потенциал их использования для задач реферирования, опыт их применения для решения задач генерации лидов;
3. Изучить особенности применения нейронной сети ruGPT-3 для решения задачи генерации лида новостных текстов;
4. Обучить языковую модель ruGPT-3 Medium и ruGPT-3 Large с применением техники LoRA и без неё;
5. Сравнить результаты моделей ruGPT-3 Medium, обученных на специфических данных одной рубрике и на смешанных данных;
6. Сравнить эффективность моделей с помощью метрик качества.
В настоящем исследовании использовались следующие методы: для сбора материала была написана программа на языке Python для автоматизированного сбора и структурирования информации с вебсайта ТАСС; для подготовки компьютерного анализа текстов применялись методы предварительной обработки текстов; в практической части использовались методы машинного обучения и методы оценки качества нейронных сетей. Реализация программного кода для решения поставленной задачи была написана на языке программировании Python.
Научная новизна исследования заключается в том, что данная работа находится в числе первых исследований, обращающихся к проблеме генерации лидов при помощи нейронных сетей на материале русскоязычных текстов. Научная новизна исследования заключается в применении нейронной сети ruGPT-3 с инновационным методом LoRA для решения задачи генерации лидов новостных текстов на русском языке. Данный подход ранее не применялся для данной задачи, и работа предоставляет новые эмпирические данные о его эффективности.
Теоретическая значимость работы определяется ее вкладом в проверку эффективности разрабатываемого инструмента в решении задачи генерации лидов на русском языке. Работа вносит вклад в дальнейшее развитие темы автоматической генерации лидов новостных текстов и исследует эффективность использования метода LoRA для адаптации моделей к задачам, связанных с русским языком. Практическая значимость работы заключается в том, что созданный прототип может послужить основой для разработки практических инструментов автоматической генерации лидов новостных текстов на русском языке. Использование таких инструментов может повысить эффективность работы журналистов, ускорить процесс создания новостей и обеспечить более оперативное освещение событий.
Проблематика компьютерной лингвистики часто связывается с обеспечением взаимодействия человека с ЭВМ на естественном языке, а также с теорией и практикой информационно-поисковых систем. Обеспечение общения человека с ЭВМ на естественном языке иногда называется «обработка естественного языка». Оно изучает проблемы компьютерного анализа и синтеза естественного языка [52]. Данное направление возникло за рубежом в 1950 году после публикации основополагающей работы в области искусственного интеллекта «Вычислительные машины и разум», написанной английским учёным Аланом Тьюрингом. В настоящее время обработка естественного языка применяется для решения многих задач, основными из которых являются распознавание речи, понимание естественного языка и генерация естественного языка. Последнее является одним из наиболее актуальных направлений и применяется в роботизированной журналистике.
Автоматизация изменила работу журналистов: от анализа огромных объёмов данных до путей распространения информации. Роботизированная журналистика перешла на новый этап с появлением автоматической генерации текстов [17]. С помощью программ искусственного интеллекта статьи создаются компьютерами, а не людьми. Эти программы интерпретируют, систематизируют и представляют данные понятными для человека способами. Каждый этап процесса создания новости теперь может быть автоматизирован: «роботы-журналисты» могут создавать тысячи статей практически без больших затрат.
Из-за формульной природы автоматизации роботизированная журналистика в основном используется для создания новостей на основе статистики и числовых данных. Общие темы включают спортивные обзоры, погоду, финансовые отчеты, анализ недвижимости и обзоры доходов. В ноябре 2010 года цифровая медиакомпания Statsheet запустила сеть из 345 веб-сайтов, посвященных студенческим баскетбольным командам. Эти команды ежемесячно публикуют более 15 000 отчетов о матчах, обзоров игр и прочих статей, созданных без какого-либо вмешательства людей [39]. Алгоритмы автоматически генерируют тексты на основе игровой статистики и набора стандартных фраз. Associated Press начал использовать автоматизацию для охвата 10 000 игр в малые бейсбольные лиги ежегодно, используя программу от Automated Insights и статистику от MLB Advanced Media [32]. В мае 2020 Mi¬crosoft объявил, что заменит на роботов десятки журналистов, которые работают на портале корпорации MSN [4]. 8 сентября 2020 года The Guardian опубликовал статью, полностью сгенерированную нейронной сетью GPT-3 и отредактированную редактором-человеком [1].
Роботизированная журналистика имеет несколько преимуществ. Во-первых, автоматизация значительно увеличивает скорость и объемы производства информации. Associated Press объявил в 2014 году, что полностью автоматизирует написание отчетов о корпоративных доходах. Используя программное обеспечение Automated Insights и данные других компаний, они могут выпускать статьи объемом от 150 до 300 слов, в то же время журналистам приходится собирать цифры и готовить информацию [10]. Франческо Маркони из Associated Press заявил, что благодаря автоматизации информационное агентство освободило 20 процентов времени журналистов, чтобы сосредоточиться на проектах с более высокой отдачей.
Кроме того, автоматизированная журналистика экономически более выгодна, поскольку позволяет производить больше информации за меньшее время. Это также уменьшает затраты на рабочую силу для новостных организаций, поскольку сокращает расходы на заработную плату, оплачиваемый отпуск, отпускные и страхование трудовой деятельности. Автоматизация является эффективным инструментом для снижения издержек для новостных агентств, сталкивающихся с ограниченным бюджетом, но стремящихся сохранить объем и качество своего новостного охвата.
В данной работе представлена попытка применения искусственной нейронной сети ruGPT-3 для построения прототипа модели реферирования текста на примере генерации лида новостных текстов. Также рамках данной работы будут обучены языковые модели ruGPT-3 Medium и ruGPT-3 Large с применением метода LoRA. Предполагается, что данный метод позволит использовать значительно меньшее вычислительных ресурсов для обучения без потери качества по сравнению с другими методами. Для проверки данной гипотезы будет обучены две модели с применением данного метода и без. Результаты будут оцениваться с помощью формальных метрик (BLEU, METEOR, ROUGE, BERTScore).
Работа осуществляется в рамках проекта «Эпигон», разрабатываемого лабораторией лингвистической антропологии Национального исследовательского Томского Государственного Университета. Основной целью проекта является разработка цифровой платформы на основе применения алгоритмов и методов распознавания спонтанной речи и синтеза текста пресс-релизов и новости с целью автоматизации подготовки и публикации материалов в СМИ. В команду проекта входят научные сотрудники «Лаборатории лингвистической антропологии» и кафедры общей, компьютерной и когнитивной лингвистики ТГУ и программисты ООО «Интеллиджент Профит Солюшнс Томск» (ООО «АйПиЭсТи»). Команда проекта состоит из представителей различных областей знаний, что позволяет сформировать и использовать междисциплинарных подход для решения автоматического формирования новостных блоков на основе использования новейших достижений в области информационных и лингвистических технологий (технологии формальных грамматик и онтологий, баз знаний, машинного обучения, нейронных сетей). Проект выполняется под руководством З.И. Резановой и А.А. Степаненко.
За время реализации проекта апробирована генерация новостных заголовков на русском языке при помощи нейронных сетей (А.А. Шевчук, А.И. Здоровец, Д.А. Аишева). В предыдущих исследования использовались нейронные сети с архитектурами sequence-to-sequence (А.А. Шевчук), DEEP SEQ2SEQ (А.И. Здоровец) и Transformer (Д.А. Аишева).
Основываясь на результатах ранее проведенных исследований, в данной магистерской работе решается задача по автоматической генерации лидов новостных текстов посредством суммаризации. Разработка и создание инструмента осуществляется с помощью русскоязычной модели искусственной нейронной сети ruGPT-3.
Актуальность данной работы обусловлена нарастающей потребностью в эффективных инструментах для обработки текстовой информации в сфере новостей и медиа. В со-временном информационном обществе огромное количество данных генерируется и распространяется мгновенно, что требует быстрой и точной обработки. Оперативность стала ключевым фактором успеха в конкурентной среде новостных агентств и изданий. Разработка прототипа сервиса автоматической генерации новостных лидов на основе нейронной сети ruGPT-3 имеет большой потенциал для решения этих проблем. Нейронные сети обладают способностью обрабатывать и анализировать большие объемы текстовой информации, выделять ключевые аспекты и генерировать краткие и содержательные тексты. Кроме того, автоматическая генерация лидов на основе нейронных сетей может существенно улучшить работу журналистов и редакторов, освободив их от рутинных задач и позволив сконцентрироваться на более творческой и аналитической работе. Сокращение времени, затрачиваемого на прочитывание новостного текста и написания лида, позволит срочно реагировать на новости и оперативно создавать информационные продукты.
Основным материалом для исследования послужили новостные материалы с сайта федерального информационного агентства ТАСС объемом 33 000 текстов по рубрикам «Россия», «Мир» и «Коронавирус» с 2021 по 2023 годы. Набор данных состоит из заголовков, лидов, текстов новостей и ссылок на новость. Новостные материалы были получены путем извлечения данных с официального веб-сайта информационного агентства ТАСС с использованием специального парсера.
Объектом исследования является автоматическое реферирование текстов.
Предметом исследования является технология реферирования текста с применением нейронной сети на основе ruGPT-3 на примере генерации лидов новостных текстов и метода LoRA.
Цель работы состоит в создании и сравнении прототипов системы автоматической генерации лидов новостных текстов на основе нейронной сети ruGPT-3 с использованием метода LoRA и без него. Дополнительно было проведено сравнение эффективности модели ruGPT-3 Medium, обученной на наборе данных по одной рубрике ("Коронавирус"), и модели, обученной на смешанном наборе данных.
Достижение поставленной цели определяет круг задач:
1. Изучить особенности новостного текста, правил его построения, особенностей лида в структуре новости;
2. Изучить нейронные сети и определить потенциал их использования для задач реферирования, опыт их применения для решения задач генерации лидов;
3. Изучить особенности применения нейронной сети ruGPT-3 для решения задачи генерации лида новостных текстов;
4. Обучить языковую модель ruGPT-3 Medium и ruGPT-3 Large с применением техники LoRA и без неё;
5. Сравнить результаты моделей ruGPT-3 Medium, обученных на специфических данных одной рубрике и на смешанных данных;
6. Сравнить эффективность моделей с помощью метрик качества.
В настоящем исследовании использовались следующие методы: для сбора материала была написана программа на языке Python для автоматизированного сбора и структурирования информации с вебсайта ТАСС; для подготовки компьютерного анализа текстов применялись методы предварительной обработки текстов; в практической части использовались методы машинного обучения и методы оценки качества нейронных сетей. Реализация программного кода для решения поставленной задачи была написана на языке программировании Python.
Научная новизна исследования заключается в том, что данная работа находится в числе первых исследований, обращающихся к проблеме генерации лидов при помощи нейронных сетей на материале русскоязычных текстов. Научная новизна исследования заключается в применении нейронной сети ruGPT-3 с инновационным методом LoRA для решения задачи генерации лидов новостных текстов на русском языке. Данный подход ранее не применялся для данной задачи, и работа предоставляет новые эмпирические данные о его эффективности.
Теоретическая значимость работы определяется ее вкладом в проверку эффективности разрабатываемого инструмента в решении задачи генерации лидов на русском языке. Работа вносит вклад в дальнейшее развитие темы автоматической генерации лидов новостных текстов и исследует эффективность использования метода LoRA для адаптации моделей к задачам, связанных с русским языком. Практическая значимость работы заключается в том, что созданный прототип может послужить основой для разработки практических инструментов автоматической генерации лидов новостных текстов на русском языке. Использование таких инструментов может повысить эффективность работы журналистов, ускорить процесс создания новостей и обеспечить более оперативное освещение событий.
В ходе выполнения настоящего исследования были достигнуты следующие результаты, которые подтвердили эффективность подходов, предложенных в работе, и значимость тонкой настройки языковых моделей для генерации новостных лидов.
В первой главе проведен теоретический анализ жанровых особенностей новостного текста и лида, роли автоматизированной журналистики, задач компьютерной лингвистики и применения машинного обучения в этой области. Было рассмотрено использование нейронных сетей, в частности трансформерной архитектуры и больших языковых моделей, для решения задач суммаризации текстов.
Вторая глава была посвящена экспериментальной части исследования. Основное внимание было уделено архитектуре GPT-2 и процессу трансферного обучения. Были рас-смотрены параметры и гиперпараметры больших языковых моделей, методы оценки качества генерации текстов, а также процесс сбора, анализа и обработки данных. Особое внимание уделено тонкой настройке моделей и анализу результатов.
В ходе экспериментов была проведена тонкая настройка моделей ruGPT-3 Medium и ruGPT-3 Large. Для изучения влияния рубрики на качество генерации текста были дообучены две модели ruGPT-3 Medium: одна на наборе данных, содержащем новостные тексты только из рубрики «Коронавирус», другая — на смешанном наборе данных из нескольких рубрик. Объемы обучающих наборов данных были одинаковы и составляли 8 700 новостных текстов.
Результаты показали, что модель, обученная на специфической рубрике, продемонстрировала лучшие результаты по ряду метрик в сравнении с моделью, обученной на смешанном наборе данных. В частности, различия в показателях ROUGE-1, ROUGE-2, ROUGE-L и BLEU были статистически значимыми (p < 0.05), что свидетельствует о достоверности лучшего качества генерации модели, обученной на текстах по рубрике «Коронавирус». Это подтверждает важность выбора подходящего обучающего набора данных для специфических задач генерации текстов.
Дополнительно была проведена тонкая настройка моделей ruGPT-3 Medium и ruGPT-3 Large с применением метода LoRA. Результаты показали, что модель ruGPT-3 Large, дообученная с использованием LoRA, демонстрирует более высокое качество генерации текстов по сравнению с моделями ruGPT-3 Medium, что обусловлено большим количеством обучаемых параметров.
Проведенное исследование подтвердило, что тонкая настройка языковых моделей на специфических наборах данных является важным и эффективным инструментом для улучшения качества генерации текстов. Модель ruGPT-3 Medium, обученная на специфических данных для задачи суммаризации новостных текстов, показала лучшие результаты по срав-нению с универсальной моделью GPT-4o, что подчеркивает значимость и необходимость тонкой настройки в задачах генерации текстов для узкоспециализированных областей.
Таким образом, результаты работы демонстрируют, что подходы и методы, предложенные в исследовании, могут быть успешно применены для автоматической генерации новостных лидов высокого качества, что открывает перспективы для дальнейших исследований и разработок в области автоматизированной журналистики и компьютерной лингвистики.
В первой главе проведен теоретический анализ жанровых особенностей новостного текста и лида, роли автоматизированной журналистики, задач компьютерной лингвистики и применения машинного обучения в этой области. Было рассмотрено использование нейронных сетей, в частности трансформерной архитектуры и больших языковых моделей, для решения задач суммаризации текстов.
Вторая глава была посвящена экспериментальной части исследования. Основное внимание было уделено архитектуре GPT-2 и процессу трансферного обучения. Были рас-смотрены параметры и гиперпараметры больших языковых моделей, методы оценки качества генерации текстов, а также процесс сбора, анализа и обработки данных. Особое внимание уделено тонкой настройке моделей и анализу результатов.
В ходе экспериментов была проведена тонкая настройка моделей ruGPT-3 Medium и ruGPT-3 Large. Для изучения влияния рубрики на качество генерации текста были дообучены две модели ruGPT-3 Medium: одна на наборе данных, содержащем новостные тексты только из рубрики «Коронавирус», другая — на смешанном наборе данных из нескольких рубрик. Объемы обучающих наборов данных были одинаковы и составляли 8 700 новостных текстов.
Результаты показали, что модель, обученная на специфической рубрике, продемонстрировала лучшие результаты по ряду метрик в сравнении с моделью, обученной на смешанном наборе данных. В частности, различия в показателях ROUGE-1, ROUGE-2, ROUGE-L и BLEU были статистически значимыми (p < 0.05), что свидетельствует о достоверности лучшего качества генерации модели, обученной на текстах по рубрике «Коронавирус». Это подтверждает важность выбора подходящего обучающего набора данных для специфических задач генерации текстов.
Дополнительно была проведена тонкая настройка моделей ruGPT-3 Medium и ruGPT-3 Large с применением метода LoRA. Результаты показали, что модель ruGPT-3 Large, дообученная с использованием LoRA, демонстрирует более высокое качество генерации текстов по сравнению с моделями ruGPT-3 Medium, что обусловлено большим количеством обучаемых параметров.
Проведенное исследование подтвердило, что тонкая настройка языковых моделей на специфических наборах данных является важным и эффективным инструментом для улучшения качества генерации текстов. Модель ruGPT-3 Medium, обученная на специфических данных для задачи суммаризации новостных текстов, показала лучшие результаты по срав-нению с универсальной моделью GPT-4o, что подчеркивает значимость и необходимость тонкой настройки в задачах генерации текстов для узкоспециализированных областей.
Таким образом, результаты работы демонстрируют, что подходы и методы, предложенные в исследовании, могут быть успешно применены для автоматической генерации новостных лидов высокого качества, что открывает перспективы для дальнейших исследований и разработок в области автоматизированной журналистики и компьютерной лингвистики.