Введение 3
Постановка задачи 5
Обзор литературы 7
Глава 1. Работа с данными 8
1.1. Исходные данные 8
1.2. Обработка данных 9
1.3. One-hot encoding 9
1.4. Target encoding 10
1.5. Дополнительная обработка данных 13
Глава 2. Алгоритмы машинного обучения 15
2.1. Линейная регрессия 15
2.2. Алгоритм случайного леса 16
2.3. Алгоритм градиентного бустинга 17
2.4. AutoML подход 20
2.5. Нейронные сети 22
Глава 3. Байесовская оптимизация 24
Глава 4. Программные средства 27
Глава 5. Анализ экспериментов 27
5.1. Сравнение алгоритмов 27
5.2. Ансамблирование 31
Глава 6. Оптимизация цены на основе предсказанного спроса 32
Выводы 34
Заключение 36
Список литературы 37
Определение оптимальной цены на продаваемую продукцию является одной из важных задач в деятельности каждой компании. Современный рынок отличается высокой конкуренцией среди продавцов, которые борются за каждого покупателя. От правильности определения цены зависит количество клиентов, готовых купить данный товар, и прибыль, полученная от реализации продукции, а эти два фактора являются основными составляющими успеха компании.
Для выбора цены обычно проводится маркетинговое исследование с привлечением внешних специалистов и полным изучением рынка. Однако, у такого подхода есть несколько недостатков. Во-первых, это цена исследования. Проведение анализа может стоить слишком большую сумму для малого бизнеса. Во-вторых, при высокой волатильности рынка, большом числе постоянно меняющихся факторов проведения однократного анализа может быть недостаточно: исследование необходимо проводить постоянно. Даже при условии привлечения специалиста или трудоустройства его в компании крайне затруднительно учитывать все существенно влияющие на цену признаки и обновлять прогноз согласно актуальному положению рынка.
Различные подходы по автоматической оптимизации цены условно возможно разделить на две группы. В первую можно отнести такие методы как ARIMA, ARFIMA [1], GARCH[2], скрытые марковские модели [3], а во вторую группу - методы машинного обучения. Алгоритмы первой группы могут показывать приемлемые результаты и в каких-то случаях, возможно, даже демонстрировать лучшие показатели, чем методы второй группы. Однако, большинство из них предназначены для работы только с временными рядами, это сильно ограничивает и затрудняет работу с большим количеством признаков. Поэтому в данной работе в качестве основных были выбраны методы машинного обучения.
Машинное обучение - направление анализа данных, которое позволяет автоматизировать построение моделей. Это ветвь науки об искусственном интеллекте, основанная на идее того, что системы могут обучаться на данных, обнаруживать структуры с минимальным вмешательством исследователя. Алгоритмы машинного обучения показывают высокие результаты на реальных задачах, поэтому в последние годы стали широко применяться в бизнесе и науке.
Различают два типа обучения:
1. Обучение с учителем (supervised learning) - способ машинного обучения, в ходе которого алгоритм обучается на основе размеченных данных. В качестве исходных данных выступает множество примеров с известными метками. Необходимо обучить алгоритм таким образом, чтобы на новых, неразмеченных данных, он смог бы предсказывать эту метку, т .е. относить пример к какому-либо классу (задача классификации) или предсказать скалярное значение целевой переменной (задача регрессии).
2. Обучение без учителя (unsupervised learning) - способ машинного обучения, при котором на вход алгоритму подаются неразмеченные данные. Как правило обучение без учителя применяется для задач кластеризации и обнаружения аномалий.
В данной работе рассматриваются различные алгоритмы обучения с учителем, так как были доступны размеченные данные.
В результате выполнения данной выпускной квалификационной работы были достигнуты следующие результаты:
• Рассмотрены различные способы предобработки данных;
• Опробованы разные алгоритмы от самых простейших, таких как линейная регрессия, до нейронных сетей;
• Проведено сравнение результатов алгоритмов между собой;
• Построен ансамбль алгоритмов;
• Проведена оптимизация цен на основе предсказанного спроса.
