Компания при запуске нового продукта всегда стремится оценить эффект, который этот продукт приносит. Как эффект принято оценивать две важные метрики: чистая прибыль компании и лояльность клиентов.
А что если компания - банк, а продукт - новый тип карты? Расходы банка можно легко перечислить: реклама, печать карты, доставка карты, логистика, оплата труда сотрудников, которые непосредственно взаимодействовали клиентом. А в чем будет заключаться доход банка, если сам выпуск карты - бесплатная услуга, кроме платы за годовое обслуживание? Доход банка будет приходить от просрочек по кредитным счетам, от дополнительных платных услуг, на оформление которых повлияло получение нового продукта и других статей дохода, на которые мог повлиять новый продукт не напрямую, а косвенно повышением лояльности. Значит, лояльность нужно оценить какими-то измеримыми метриками. Рассматриваем банк, поэтому принято решение использовать транзакционную активность как метрику лояльности.
При известных измеримых метриках обычно проводят АБ тест и решение о масштабировании принимают по его итогам. Но в нашем случае провести честный АБ тест запуска нового продукта для оценки нужных метрик с помощью рандомизированного эксперимента невозможно из-за обширной маркетинговой компании. При этом продукт запустили без АБ-теста, основываясь на предварительных оценках эффекта, исходя из потребностей клиента, которые этот продукт удовлетворяет.
Поэтому принято решение оценить влияние получение нового продукта A на выбранные ключевые метрики по ретро данным, используя различные техники причинно-следственного анализа.
В работе были рассмотрены и применены к реальным данным два метода сопоставления: Coarsened Exact Matching и Propensity Score Matching.
Методом Coarsened Exact Matching удалось уменьшить общее L1 расстояние между выборками с 0.897 до 0.402, оставив 50.7% изначальной группы воздействия.
Метод Propensity Score Matching оставил 92.5% изначальной группы воздействия, но не показал баланса выборок по основным метрикам.
Результаты исследования, которые являются наиболее несмещенными - результаты применения метода Coarsened Exact Matching. Эти результаты статзначимы и подтверждают гипотезу о положительном влиянии получения продукта на транзакционную активность.
