ДИСТРИБУТИВНАЯ СЕМАНТИКА В КОНТЕКСТНОЙ РЕКЛАМЕ

Введение 3
1. Глава 1. Дистрибутивная семантика 7
1.1. История и основные определения 7
1.2. Представление слов в векторном пространстве. Матрицы совместной
встречаемости 9
1.3. Предсказательные модели дистрибутивной семантики 14
2. Глава 2. Реализация и применение алгоритма 24
2.1. Выбор предсказательной модели и планирование реализации 24
2.2. Сбор и обработка корпусов 25
2.3. Обучение векторного поля word2vec 26
2.4. Система оценки точности.., 27
2.5. Реализация программы и ее применение для создания рекламной
кампании 28
2.6. Создание и тестирование рекламных кампаний. Сопоставление
результатов 33
Заключение 39
Список использованных источников
Купить

В современном мире, одна из передовых областей информационных технологий - создание искусственного интеллекта. Его разработка направлена как на использование в качестве части большого проекта, так и в целях полной замены человеческого труда машинным. Эта область находится на стыке ряда научных дисциплин: информатика, математика, физика, юриспруденция, лингвистика и т.д. Одним из множества подходов к пониманию задачи искусственного интеллекта является изучение нейронных сетей.
Нейронная сеть - направление исследования в области изучения искусственного интеллекта, предназначенное воспроизвести работу нервной системы человека, а именно способность обучаться и анализировать входящую информацию. Существует множество способов использования нейронных сетей. Среди прочих, нас заинтересовала интеллектуальная обработка текстов на естественном языке. В частности, задача автоматического определения семантики лингвистической единицы и репрезентация этого значения в математической форме. Оказалось, что эта задача изучается уже более 80 лет, а направление компьютерной лингвистики, занимающееся ей, носит название «Дистрибутивная семантика».
Первые исследования были опубликованы в 20 году XX века Леонардо Блумфилдом. Предложенный им дистрибутивный анализ применялся в фонологии и морфологии. Несмотря на работу Блумфилда, активное развитие данное направление получило благодаря научным трудам Зеллига Харриса, разработанным в 30-50-х гг. прошлого века [3, 4]. В это же время, похожие идеи анализа текста были выдвинуты швейцарским лингвистом Фердинандом де Соссюром, который заложил основы семитологии и структурной лингвистики. Его часто называют отцом лингвистики XX века. Также, подобные исследования были проведены австрийским философом и логиком Людвигом Витгенштейном. Среди наших соотечественников стоит отметить Н.Б. Лебедеву. В своей работе «Полиситуативность глагольной семантики» она выделила особую значимость категории дистрибутивности в репрезентации значений слов естественного языка.
В наши дни, огромный вклад в развитие концепции дистрибутивной семантики внес Томас Миколов [2]. Его работа «Efficient Estimation of Word Representations in Vector Space» не только определила основные методы обработки больших корпусов текста, но и выявила смысловые связи векторных представлений слов.
Дистрибутивная семантика, являясь направлением компьютерной лингвистики, не только позволяет понять концепцию естественного языка, на котором мы говорим каждый день, но еще и является отличным инструментом для популяризации программных продуктов, использующих технологию искусственного интеллекта. Среди наиболее явных областей применения дистрибутивного анализа можно выделить:
1. Вычисление семантической близости. Другими словами - поиск синонимов.
2. Машинный перевод. Поиск похожих слов в разных языках.
3. Расширение поисковых запросов. Поиск похожих слов или фраз.
4. Классификация текстов на заранее заданные параметры.
5. Классификация текстов на заранее неизвестные параметры.
6. Определение тональности высказывания.
Среди вышеприведенного списка меня больше всего заинтересовало расширение множества поисковых запросов и потенциальный успех использования этого направления для повышения качества контекстной рекламы.
Контекстная реклама - реклама в поисковых сетях в интернете, которая показывается только в том случае, если ее содержание соответствует интересам пользователя. Расширяя диапазон поисковых запросов, можно не только показывать рекламу большему количеству потенциально заинтересованных в ней людей, но и повысить ее точность, что сократит издержки производителя. Вопросы, касающиеся выявления целевой аудитории рекламируемого товара, повышение охвата рынка и сокращения рекламного бюджета у производителя, являются актуальной темой в нынешнем информационном и рыночном пространстве.
Объект исследования — численные показатели качества рекламной кампании.
Предмет исследования — математические методы обработки текстов на естественном языке, определяющие семантическую близость лингвистических единиц.
Целью данной работы является определение эффективности применения методов дистрибутивной семантики для повышения качества рекламных объявлений в контекстной рекламе.
Для достижения цели поставлены следующие задачи:
1) Исследование предметной области
2) Выявление способа числовой репрезентации семантики слов
3) Сбор и обработка входных данных
4) Реализовать алгоритм обучения на основе векторного поля
5) Создание рекламной кампании в Яндекс.Директ на основе выходных данных программы
6) Анализ результатов
Гипотеза: Использование методов дистрибутивной семантики для обогащения множества ключевых слов рекламных объявлений не только увеличит аудиторию получателей рекламы, но и сделает такую рекламную кампанию более релевантной.
Практическая значимость дипломной работы распространяется на несколько профессиональных сфер деятельности человека. Во-первых, лингвистам она дает еще один ответ на вопрос связи написанного на естественном языке слова с семантикой этого слова. А во-вторых, данная работа предоставляет инструмент для специалистов по маркетингу, который, гипотетически, может повысить их ценность на рынке труда.

Купить