ПРИМЕНЕНИЕ МЕТОДА ЧАСТИЧНОГО ОБУЧЕНИЯ CO-TRAINING В ЗАДАЧЕ КЛАССИФИКАЦИИ КЛИЕНТСКОЙ БАЗЫ
|
Введение
Глава 1: Введение в модели частичного обучения
§1.1 Постановка задач обучения с учителем и без учителя
§1.2 Оценка качества предсказательных моделей
§1.3 Введение в задачи частичного обучения
§1.4 Основные предположения в задачах частичного обучения
Глава 2: Метод Co-training в задаче частичного обучения
§2.1 Метод Co-training в задаче частичного обучения
§2.2 Преимущества и недостатки метода Co-training
§2.3 Предлагаемые варианты применения метода Co-training
Глава 3: Оценка объема лояльных клиентов
§3.1 Описание бизнес-задачи и её постановка в рамках машинного обучения
§3.2 Алгоритм решения задачи и выбор оптимальной модели частичного обучения
§3.3 Выводы
Заключение
Список использованных источников:
Приложение
1. Результаты эконометрического моделирования: проверка статистической значимости клиентских признаков по модели логистической регрессии.
2. Листинг программы, реализующей метод Co-Training на языке Python 3
3. Пример работы программы Co-Training Classifier
Глава 1: Введение в модели частичного обучения
§1.1 Постановка задач обучения с учителем и без учителя
§1.2 Оценка качества предсказательных моделей
§1.3 Введение в задачи частичного обучения
§1.4 Основные предположения в задачах частичного обучения
Глава 2: Метод Co-training в задаче частичного обучения
§2.1 Метод Co-training в задаче частичного обучения
§2.2 Преимущества и недостатки метода Co-training
§2.3 Предлагаемые варианты применения метода Co-training
Глава 3: Оценка объема лояльных клиентов
§3.1 Описание бизнес-задачи и её постановка в рамках машинного обучения
§3.2 Алгоритм решения задачи и выбор оптимальной модели частичного обучения
§3.3 Выводы
Заключение
Список использованных источников:
Приложение
1. Результаты эконометрического моделирования: проверка статистической значимости клиентских признаков по модели логистической регрессии.
2. Листинг программы, реализующей метод Co-Training на языке Python 3
3. Пример работы программы Co-Training Classifier
Тенденции всеобщей цифровизации, развития Интернета вещей 1 и автоматизации
большинства однотипных рутинных процессов в различных сферах социально-экономической
деятельности привели к тому, что сегодня многие компании накапливают свои базы данных,
собирая как можно больше статистики о собственном бизнесе. Кроме процесса глобальной
автоматизации это также обусловлено тем, что в XXI веке умение эффективного управления
внутренними и внешними данными на предприятии становится в один ряд приоритетных задач.
Благодаря этому система поддержки принятия решений фирмы усложняется, стремясь
максимально быстро выявить изменение паттернов и трендов потребительского поведения. В
свою очередь для этих целей всё более расширяется применение моделей статистического
обучения с целью всестороннего анализа данных.
С точки зрения системы поддержки принятия решений одной из распространенных задач
на практике является разбиение объектов на классы (задача классификации). Однако в
экономической сфере велика доля неопределённости. Это выражается тем, что, в первую очередь,
в сфере бизнеса и экономики в целом массив имеющихся данных, используемых для
моделирования, содержит лишь небольшую часть так называемой размеченной информации –
данных, в которых присутствует некоторая целевая переменная. В первую очередь, это
объясняется тем, что затраты на разметку всех данных являются слишком велики для компаний,
работающих с большими объемами данных. Кроме того, моделируемых целевых показателей
может просто не существовать вовсе, и они разрабатываются в процессе становления той или иной
корпоративной технологии. Для подобных задач с недостатком размеченных данных помимо
нейросетевых подходов сегодня развиваются методы «полуавтоматического обучения» или
«частичного обучения»2, например, анализ данных методов проводится в работах [24, 22, 31].
В 1998 году Avrim Blum и Tom Mitchel из Университета Карнеги – Меллон (Carnegie Mellon
University) опубликовали работу под названием «Combining Labeled and Unlabeled Data with CoTraining», в которой описан эффективный метод кооперативного обучения моделей
классификации в условиях дефицита размеченной информации и наличия неструктурированных
данных. Изначально метод был применен для классификации веб-страниц в интернете.
1 IoT: Internet of Things, концепция создания умных сетей между устройствами, бытовыми и промышленными предметами, [35]
Соответственно, в статье [14] была показана его работоспособность на подобной прикладной
задаче.
В экономической же практике зачастую необходимо анализировать ситуацию «здесь и
сейчас», когда существует значимый дефицит времени, за которое необходимо получать
нетривиальные оценки текущего состояния среды бизнеса, его целевых покупателей и
осуществлять управленческие решения в максимально короткие сроки. В таком случае на помощь
бизнесу зачастую приходят методы прикладной статистики и анализа данных. В представленной
работе исследуется возможность применения указанного метода кооперативного обучения в
практической экономической задаче – оценке текущего поведения клиентов, а также выносятся
предлагаемые модификации метода.
Таким образом, целью представленной работы является оценка потенциальной
дополнительной выгоды от удержания нелояльных клиентов путем создания и применения
прикладной программы моделирования и мониторинга степени лояльности клиентов методом
частичного обучения Co-Training, которая может стать полезным инструментом в корпоративной
рекомендательной системе.
Следовательно, объект исследования данной работы в рамках практической задачи – группа
потребителей товаров и услуг на автозаправочных станциях.
Предметом исследования выступает потребительское поведение данных клиентов. Они
могут потреблять как основной продукт автозаправочных станций – топливо разных марок, так и
дополнительные опции в рамках обслуживания их автомобилей, а также сопутствующие товары и
услуги – продукция общепита, бытовая химия и автомобильные товары.
Основная гипотеза, поставленная в начале изучения указанной проблематики: в условиях
дефицита информации и наличия неструктурированных данных анализируемый в работе метод
позволяет дать значимые оценки вероятностей поведенческой классификации клиентов
автозаправочных станций с качеством предиктора выше случайного гадания, и, соответственно,
измеримую потенциальную выгоду от повышения лояльности этих клиентов.
Реализация указанной цели потребовала решения следующих задач:
1. Изучить общепринятые постановки задач прикладной статистики.
2. Прояснить особенности решения каждого класса задач статистического обучения.
3. Выяснить текущую проработанность сферы задач SSL.
4. Раскрыть концепцию метода Co-Training в рамках задач SSL.5
5. Разработать программу решения задач с помощью метода Co-Training.
6. Построить ряд моделей в рамках метода Co-Training для анализа потребительского
поведения, определить из них наилучшую по качеству и выявить значимые паттерны в
процессе моделирования.
7. Оценить конкретный экономический эффект от повышения степени лояльности
клиентов.
Необходимость реализации указанных цели и задач обусловила структуру и логику
работы. Представленная работа состоит из введения, трёх глав, списка использованных
источников и приложения.
Во введении тема работы актуализируется с учетом текущих потребностей
коммерческих организаций с целью максимально возможного извлечения полезной
информации из истории поведения потребителей. Первая глава посвящена исследованию
теоретических аспектов моделей частичного обучения без отрыва от других задач прикладной
статистики, а также рассмотрению вопроса оценки качества моделирования. Во второй главе
детально разбирается метод кооперативного обучения Co-Training, проводится его
критический анализ, вносятся предложения по его модификации и представляются варианты
метода для прикладного использования. В третьей главе исследуемый метод реализуется на
широко распространённом объектно-ориентированном интерпретируемом языке
программирования Python 3, ставится конкретная бизнес-задача и переводится в рамки задач
статистического обучения, после чего анализируемая модель настраивается и применяется в
формализованной задаче. Приложение содержит листинг программы, реализующей метод,
рассматриваемый в данной работе, а также пример её работы с использованием удобного
графического интерфейса пользователя.
большинства однотипных рутинных процессов в различных сферах социально-экономической
деятельности привели к тому, что сегодня многие компании накапливают свои базы данных,
собирая как можно больше статистики о собственном бизнесе. Кроме процесса глобальной
автоматизации это также обусловлено тем, что в XXI веке умение эффективного управления
внутренними и внешними данными на предприятии становится в один ряд приоритетных задач.
Благодаря этому система поддержки принятия решений фирмы усложняется, стремясь
максимально быстро выявить изменение паттернов и трендов потребительского поведения. В
свою очередь для этих целей всё более расширяется применение моделей статистического
обучения с целью всестороннего анализа данных.
С точки зрения системы поддержки принятия решений одной из распространенных задач
на практике является разбиение объектов на классы (задача классификации). Однако в
экономической сфере велика доля неопределённости. Это выражается тем, что, в первую очередь,
в сфере бизнеса и экономики в целом массив имеющихся данных, используемых для
моделирования, содержит лишь небольшую часть так называемой размеченной информации –
данных, в которых присутствует некоторая целевая переменная. В первую очередь, это
объясняется тем, что затраты на разметку всех данных являются слишком велики для компаний,
работающих с большими объемами данных. Кроме того, моделируемых целевых показателей
может просто не существовать вовсе, и они разрабатываются в процессе становления той или иной
корпоративной технологии. Для подобных задач с недостатком размеченных данных помимо
нейросетевых подходов сегодня развиваются методы «полуавтоматического обучения» или
«частичного обучения»2, например, анализ данных методов проводится в работах [24, 22, 31].
В 1998 году Avrim Blum и Tom Mitchel из Университета Карнеги – Меллон (Carnegie Mellon
University) опубликовали работу под названием «Combining Labeled and Unlabeled Data with CoTraining», в которой описан эффективный метод кооперативного обучения моделей
классификации в условиях дефицита размеченной информации и наличия неструктурированных
данных. Изначально метод был применен для классификации веб-страниц в интернете.
1 IoT: Internet of Things, концепция создания умных сетей между устройствами, бытовыми и промышленными предметами, [35]
Соответственно, в статье [14] была показана его работоспособность на подобной прикладной
задаче.
В экономической же практике зачастую необходимо анализировать ситуацию «здесь и
сейчас», когда существует значимый дефицит времени, за которое необходимо получать
нетривиальные оценки текущего состояния среды бизнеса, его целевых покупателей и
осуществлять управленческие решения в максимально короткие сроки. В таком случае на помощь
бизнесу зачастую приходят методы прикладной статистики и анализа данных. В представленной
работе исследуется возможность применения указанного метода кооперативного обучения в
практической экономической задаче – оценке текущего поведения клиентов, а также выносятся
предлагаемые модификации метода.
Таким образом, целью представленной работы является оценка потенциальной
дополнительной выгоды от удержания нелояльных клиентов путем создания и применения
прикладной программы моделирования и мониторинга степени лояльности клиентов методом
частичного обучения Co-Training, которая может стать полезным инструментом в корпоративной
рекомендательной системе.
Следовательно, объект исследования данной работы в рамках практической задачи – группа
потребителей товаров и услуг на автозаправочных станциях.
Предметом исследования выступает потребительское поведение данных клиентов. Они
могут потреблять как основной продукт автозаправочных станций – топливо разных марок, так и
дополнительные опции в рамках обслуживания их автомобилей, а также сопутствующие товары и
услуги – продукция общепита, бытовая химия и автомобильные товары.
Основная гипотеза, поставленная в начале изучения указанной проблематики: в условиях
дефицита информации и наличия неструктурированных данных анализируемый в работе метод
позволяет дать значимые оценки вероятностей поведенческой классификации клиентов
автозаправочных станций с качеством предиктора выше случайного гадания, и, соответственно,
измеримую потенциальную выгоду от повышения лояльности этих клиентов.
Реализация указанной цели потребовала решения следующих задач:
1. Изучить общепринятые постановки задач прикладной статистики.
2. Прояснить особенности решения каждого класса задач статистического обучения.
3. Выяснить текущую проработанность сферы задач SSL.
4. Раскрыть концепцию метода Co-Training в рамках задач SSL.5
5. Разработать программу решения задач с помощью метода Co-Training.
6. Построить ряд моделей в рамках метода Co-Training для анализа потребительского
поведения, определить из них наилучшую по качеству и выявить значимые паттерны в
процессе моделирования.
7. Оценить конкретный экономический эффект от повышения степени лояльности
клиентов.
Необходимость реализации указанных цели и задач обусловила структуру и логику
работы. Представленная работа состоит из введения, трёх глав, списка использованных
источников и приложения.
Во введении тема работы актуализируется с учетом текущих потребностей
коммерческих организаций с целью максимально возможного извлечения полезной
информации из истории поведения потребителей. Первая глава посвящена исследованию
теоретических аспектов моделей частичного обучения без отрыва от других задач прикладной
статистики, а также рассмотрению вопроса оценки качества моделирования. Во второй главе
детально разбирается метод кооперативного обучения Co-Training, проводится его
критический анализ, вносятся предложения по его модификации и представляются варианты
метода для прикладного использования. В третьей главе исследуемый метод реализуется на
широко распространённом объектно-ориентированном интерпретируемом языке
программирования Python 3, ставится конкретная бизнес-задача и переводится в рамки задач
статистического обучения, после чего анализируемая модель настраивается и применяется в
формализованной задаче. Приложение содержит листинг программы, реализующей метод,
рассматриваемый в данной работе, а также пример её работы с использованием удобного
графического интерфейса пользователя.
В представленной выпускной квалификационной работе:
• Предложена и проанализирована модификация метода частичного обучения CoTraining, которая позволяет эффективнее использовать дополнительную информацию об
объектах с целью их исследования в рамках задачи классификации.
• Реализована программа представленного метода на основе статьи разработчиков
университета Карнеги-Меллон [14] с его дополнительными модификациями и выбором
условий остановки алгоритма на языке Python 3, которая может быть использована во многих
системах поддержки принятия решений и работы с клиентами в компаниях.
• Проведены эксперименты на реальных данных нефтяной компании ПАО
«Газпром нефть» с условием экстремальной нехватки обучающих данных для моделирования.
Полученные результаты экспериментов показали, что нельзя отвергать поставленную в работе
гипотезу, а также доказали работоспособность метода в области повышения
классификационного качества.
• Получены значимые по качеству результаты оценки лояльности клиентов с
точки зрения их дополнительных закупок топлива у конкурентов компании, что доказывает
возможную практическую применимость представленного метода в более широком ключе
возникающих задач, чем это было представлено его авторами ранее.
Таким образом, в условиях дефицита информации и наличия неструктурированных
данных анализируемый в работе метод позволяет не только дать значимые оценки
вероятностей поведенческой классификации клиентов автозаправочных станций с качеством
предиктора выше случайного гадания, но и повысить эту уверенность анализом работы метода
Co-Training на итерациях, тем самым повысить точность прогнозов в области оценки
потребительского рынка в целом
• Предложена и проанализирована модификация метода частичного обучения CoTraining, которая позволяет эффективнее использовать дополнительную информацию об
объектах с целью их исследования в рамках задачи классификации.
• Реализована программа представленного метода на основе статьи разработчиков
университета Карнеги-Меллон [14] с его дополнительными модификациями и выбором
условий остановки алгоритма на языке Python 3, которая может быть использована во многих
системах поддержки принятия решений и работы с клиентами в компаниях.
• Проведены эксперименты на реальных данных нефтяной компании ПАО
«Газпром нефть» с условием экстремальной нехватки обучающих данных для моделирования.
Полученные результаты экспериментов показали, что нельзя отвергать поставленную в работе
гипотезу, а также доказали работоспособность метода в области повышения
классификационного качества.
• Получены значимые по качеству результаты оценки лояльности клиентов с
точки зрения их дополнительных закупок топлива у конкурентов компании, что доказывает
возможную практическую применимость представленного метода в более широком ключе
возникающих задач, чем это было представлено его авторами ранее.
Таким образом, в условиях дефицита информации и наличия неструктурированных
данных анализируемый в работе метод позволяет не только дать значимые оценки
вероятностей поведенческой классификации клиентов автозаправочных станций с качеством
предиктора выше случайного гадания, но и повысить эту уверенность анализом работы метода
Co-Training на итерациях, тем самым повысить точность прогнозов в области оценки
потребительского рынка в целом