📄Работа №215585
Тема: Рекомендательная система подбора изображений к презентациям
Тип работы
Дипломные работы, ВКР
Предмет
информатика
Объем:
54 листов
Год:
2022
Просмотров:
3
4500
руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание
АННОТАЦИЯ 2
ЗАДАНИЕ 2
ВВЕДЕНИЕ 7
1 АНАЛИЗ СИСТЕМ ПОДБОРА ИЗОБРАЖЕНИЙ 9
1.1 Подбор изображений как задача семантического анализа текста 9
1.2 Методы получения эмбеддингов слов 10
1.2.1 Метод кодирования one-hot encoding 10
1.2.2 Метод кодирования Word2Vec 12
1.2.3 Метод кодирования fastText 15
1.3 Методы получения эмбеддингов предложений 16
1.3.1 Рекуррентные нейронные сети 16
1.3.2 LSTM сети 18
1.3.3 Механизм внимания 21
1.3.4 CLIP Ошибка! Закладка не определена.
1.4 Сервисы для подбора изображений к слайдам презентации 23
1.4.1 Google Images 23
1.4.2 Конструктор PowerPoint 24
1.5 Выводы по разделу 25
2 ЗАДАЧА СЕМАНТИЧЕСКОГО АНАЛИЗА ТЕКСТА 27
2.1 Постановка задачи и набор данных 27
2.2 Архитектура нейронной сети 28
2.3 Сверточные нейронные сети 30
2.4 Трансформеры 32
2.5 Мера близости и функция потерь 36
2.6 Обучение сети 38
2.7 Метод оптимизации функции потерь Adam 41
2.8 Функции активации 43
2.8.1 Функция активации ReLU 44
2.8.2 Функция активации Softmax
2.9 Выводы по разделу 47
3 РЕАЛИЗАЦИЯ СИСТЕМЫ И ПРОВЕРКА НА ТЕСТОВЫХ ДАННЫХ ... 48 ЗАКЛЮЧЕНИЕ 56
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 57
ЗАДАНИЕ 2
ВВЕДЕНИЕ 7
1 АНАЛИЗ СИСТЕМ ПОДБОРА ИЗОБРАЖЕНИЙ 9
1.1 Подбор изображений как задача семантического анализа текста 9
1.2 Методы получения эмбеддингов слов 10
1.2.1 Метод кодирования one-hot encoding 10
1.2.2 Метод кодирования Word2Vec 12
1.2.3 Метод кодирования fastText 15
1.3 Методы получения эмбеддингов предложений 16
1.3.1 Рекуррентные нейронные сети 16
1.3.2 LSTM сети 18
1.3.3 Механизм внимания 21
1.3.4 CLIP Ошибка! Закладка не определена.
1.4 Сервисы для подбора изображений к слайдам презентации 23
1.4.1 Google Images 23
1.4.2 Конструктор PowerPoint 24
1.5 Выводы по разделу 25
2 ЗАДАЧА СЕМАНТИЧЕСКОГО АНАЛИЗА ТЕКСТА 27
2.1 Постановка задачи и набор данных 27
2.2 Архитектура нейронной сети 28
2.3 Сверточные нейронные сети 30
2.4 Трансформеры 32
2.5 Мера близости и функция потерь 36
2.6 Обучение сети 38
2.7 Метод оптимизации функции потерь Adam 41
2.8 Функции активации 43
2.8.1 Функция активации ReLU 44
2.8.2 Функция активации Softmax
2.9 Выводы по разделу 47
3 РЕАЛИЗАЦИЯ СИСТЕМЫ И ПРОВЕРКА НА ТЕСТОВЫХ ДАННЫХ ... 48 ЗАКЛЮЧЕНИЕ 56
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 57
📖 Введение
Для человека потребность в получении информации является постоянной. Например, в доисторическом периоде знания о ядовитых растениях, опасных зверях являлись залогом выживания для отдельного человека. Без изобретения способов передачи и обмена информацией человечество было бы обречено на вымирание. С годами потребность в информации не только не упала, но и многократно приумножилась. В современном мире объем информационных ресурсов растет огромными темпами. Рост объема информации обусловлен усложнением всех сфер жизнедеятельности современного общества, определяющим фактором является развитие технологий и научный прогресс. Однако важно не только количество поданной информации, огромное значение имеет так же форма её представления.
Информация бесполезна, если человек не способен её усвоить. Для этой задачи используются разного рода иллюстрации. Согласно исследованиям, услышав новую информацию, люди смогут вспомнить только 10% спустя 3 дня, однако, вместе с релевантным изображением люди запоминают на 55% больше информации [16]. При этом, иллюстрированная информация, отправляется в долговременную память, в то время как текстовая - в кратковременную [20], что говорит о том, насколько важно визуальное оформление для запоминания материала. Также, согласно исследованию [17], контент в интернете, сопровождающийся изображениями, имеет на 94% больше просмотров, чем аналогичный контент без них, что говорит о важности изображений не только в образовательных, но и в маркетинговых целях.
В то же время, согласно исследованиям, дизайн и визуальный контент является самой тяжелой задачей для 23.7% маркетологов 49% маркетологов оценивают визуальную часть как крайне важную для решения своих задач, 22% как важную, и 19% полностью полагаются именно на визуальную часть презентаций [18]. Именно поэтому создание сервиса подбора изображений к
презентациям на основе их смыслового содержания является современной и актуальной задачей.
На текущей момент существует множество подходов к реализации рекомендательных систем, большая часть из которых основывается на запоминании предпочтений пользователя и предложении похожего контента. Однако, в данном случае они неприменимы, так как тематика конкретных презентаций не зависит от предыдущих запросов пользователя. Именно поэтому для решения данной задачи были выбраны нейросетевые алгоритмы обработки естественного языка, способные улавливать смысловое значение пользовательского текста.
Целью данной работы является разработка системы, позволяющей подбирать изображения из базы данных, подходящих по смыслу к тексту слайдов. Для достижения данной цели необходимо решить следующие задачи:
1) исследование существующих методов семантического анализа текста;
2) составление математической модели программы для подбора изображений к тексту слайдов;
3) выбор метрик для оценки близости текста и изображения;
4) разработка программного модуля, осуществляющего подбор изображений к тексту слайдов;
5) оценка качества работы системы.
Информация бесполезна, если человек не способен её усвоить. Для этой задачи используются разного рода иллюстрации. Согласно исследованиям, услышав новую информацию, люди смогут вспомнить только 10% спустя 3 дня, однако, вместе с релевантным изображением люди запоминают на 55% больше информации [16]. При этом, иллюстрированная информация, отправляется в долговременную память, в то время как текстовая - в кратковременную [20], что говорит о том, насколько важно визуальное оформление для запоминания материала. Также, согласно исследованию [17], контент в интернете, сопровождающийся изображениями, имеет на 94% больше просмотров, чем аналогичный контент без них, что говорит о важности изображений не только в образовательных, но и в маркетинговых целях.
В то же время, согласно исследованиям, дизайн и визуальный контент является самой тяжелой задачей для 23.7% маркетологов 49% маркетологов оценивают визуальную часть как крайне важную для решения своих задач, 22% как важную, и 19% полностью полагаются именно на визуальную часть презентаций [18]. Именно поэтому создание сервиса подбора изображений к
презентациям на основе их смыслового содержания является современной и актуальной задачей.
На текущей момент существует множество подходов к реализации рекомендательных систем, большая часть из которых основывается на запоминании предпочтений пользователя и предложении похожего контента. Однако, в данном случае они неприменимы, так как тематика конкретных презентаций не зависит от предыдущих запросов пользователя. Именно поэтому для решения данной задачи были выбраны нейросетевые алгоритмы обработки естественного языка, способные улавливать смысловое значение пользовательского текста.
Целью данной работы является разработка системы, позволяющей подбирать изображения из базы данных, подходящих по смыслу к тексту слайдов. Для достижения данной цели необходимо решить следующие задачи:
1) исследование существующих методов семантического анализа текста;
2) составление математической модели программы для подбора изображений к тексту слайдов;
3) выбор метрик для оценки близости текста и изображения;
4) разработка программного модуля, осуществляющего подбор изображений к тексту слайдов;
5) оценка качества работы системы.
✅ Заключение
Цель данной работы заключалась в разработке системы, позволяющей по тексту слайдов презентаций подбирать подходящие к ним по смыслу изображения из базы данных. В ходе работы данная задача была сформулирована как задача семантического анализа текста, рассмотрены разнообразные нейросетевые методы, решающие данную проблему. Был выбран подход, связанный с использованием нейронной сети CLIP.
Данная сеть была подробно рассмотрена, изучена её мультимодальная архитектура. Был проведен обзор энкодера изображений, оказывающего существенное влияние на качество обучения нейросети, и энкодера текста, являющегося самой важной частью системы подбора изображений. В качестве алгоритма обучения нейронных сетей выбран метод обратного распространения ошибки с применением оптимизации функции потерь методом Adam.
Приведены метрики качества, позволяющие оценить качество работы системы рекомендации как единого целого и разобрана мера близости, которая позволяет численно оценить, насколько схожи по семантическому содержанию два вектора в общем пространстве.
Разработанная система была реализована на языке программирования Python 3.7 с применением библиотек PyTorch, NumPy и scikit-learn, а также среды разработки Jupyter Notebook.
Итак, цель достигнута, а поставленные задачи - полностью решены. Разработанная система была успешно внедрена и используется в проекте «Wonderslide», на данный момент разрабатываемый в компании «ООО Цифровая Собственность». Представленное в данной работе решение может использоваться при создании других рекомендательных и поисковых систем.
Данная сеть была подробно рассмотрена, изучена её мультимодальная архитектура. Был проведен обзор энкодера изображений, оказывающего существенное влияние на качество обучения нейросети, и энкодера текста, являющегося самой важной частью системы подбора изображений. В качестве алгоритма обучения нейронных сетей выбран метод обратного распространения ошибки с применением оптимизации функции потерь методом Adam.
Приведены метрики качества, позволяющие оценить качество работы системы рекомендации как единого целого и разобрана мера близости, которая позволяет численно оценить, насколько схожи по семантическому содержанию два вектора в общем пространстве.
Разработанная система была реализована на языке программирования Python 3.7 с применением библиотек PyTorch, NumPy и scikit-learn, а также среды разработки Jupyter Notebook.
Итак, цель достигнута, а поставленные задачи - полностью решены. Разработанная система была успешно внедрена и используется в проекте «Wonderslide», на данный момент разрабатываемый в компании «ООО Цифровая Собственность». Представленное в данной работе решение может использоваться при создании других рекомендательных и поисковых систем.
ИЛИ
Поиск аналога
📕 Список литературы
🖼 Скриншоты
🛒 Оформить заказ
⚡ Работу высылаем в течении 5 минут после оплаты.