Размер имеет значение: группа глобального контроля для банка

29 марта 2023 г.

Задача

Несколько лет назад я работал в отделе управления взаимоотношениями с клиентами (CRM) крупного розничного банка в качестве руководителя группы по анализу данных. Как команда CRM мы отвечали за различные действия с существующей клиентской базой: перекрестные продажи через разные каналы (электронная почта, телефонные звонки, SMS и т. д.), уведомления, настройка продукта и т. д. Хотя мы всегда могли объяснить количество, которое приносит каждая кампания (в количественных показателях — дополнительные продажи, дополнительный кредитный портфель и т. д.), поскольку у нас были контрольные группы для каждой кампании, постоянно возникал спор о том, сколько такие действия приносят банка всего.

Включены типичные вопросы:

• Правильно ли суммировать все дополнительные эффекты всех запущенных нами кампаний?
• Как мы можем синхронизировать кампании, начавшиеся в разные моменты времени?
• Сколько мы недоработаем, если перестанем получать электронные письма, SMS и телефонные звонки?

Как мы ответили на эти вопросы

Чтобы ответить на эти вопросы, мы предложили так называемую глобальную контрольную группу (назовем ее также здесь и далее GCG) — группу клиентов, которые будут заморожены на год от любых контактов. с нашей стороны. Таким образом, мы можем заблокировать некоторых клиентов от общения и не блокировать остальную часть клиентской базы, а затем сравнить две группы на основе заранее определенной метрики измерения. Некоторыми примерами этого показателя могут быть количество проданных кредитов, общий кредитный портфель на одного клиента или средняя прибыль на одного клиента.

Хорошая новость заключалась в том, что руководству идея понравилась. Плохая новость заключалась в том, что никто не хотел прекращать продавать лишние продукты даже части клиентов: «Вы действительно собираетесь прекратить продавать какой-то группе клиентов? Значит, это будет упущенная возможность!». Дискуссия о размере GCG сразу же стала жесткой.

В ходе спора мы договорились, что как команда аналитиков рассчитаем правильный минимальный размер выборки для глобальной контрольной группы со статистической точки зрения.

Как мы выбирали размер выборки

Интуиция подсказывает, что чем больше клиентов мы включим в GCG, тем больше у нас будет измерительных возможностей. Но, как уже говорилось, было трудно отстранить слишком много клиентов от нашей деятельности по продажам. Метод, описанный ниже, может применяться для выбора обычной контрольной группы (или в AB-тестировании). . Однако запуск кампании перекрестных продаж, как правило, не настолько строг с точки зрения минимизации размера контрольной группы, как в случае с GCG.

Метрика

В приведенном ниже примере я буду говорить об одном показателе – доле клиентов, купивших дополнительные кредиты наличными (назовем его целевой показатель). Хотя может быть множество показателей, общий подход очень похож.

Если вы не хотите вдаваться в математические подробности, вот краткое объяснение того, как мы подошли к этому вопросу:

1. Во-первых, мы определили дополнительное значение целевого показателя, которое является минимально возможным с точки зрения бизнеса. Например, дополнительное проникновение кредитов в нашу клиентскую базу на 0,01 можно считать минимально возможным бизнес-эффектом нашей деятельности. Мы просто не верим, что наша деятельность приносит меньше.
2. Затем, используя теорию вероятности, мы рассчитали минимальный размер нашей GCG, чтобы не пропустить минимальный ценность для бизнеса при проведении статистического тестирования с вероятностью не менее 95%. На самом деле 95 % — это обсуждаемое значение, поскольку его можно регулировать в зависимости от решаемой проблемы, но при этом общий подход остается прежним.

В результате предлагаемая пропорция для GCG составила около 3% от всей клиентской базы. Если вас интересует только бизнес-логика, вы можете пропустить следующий раздел с подробным описанием нашего статистического подхода. п

Подробный статистический подход

Определения:

• N – количество клиентов в нашей клиентской базе.
• альфа – доля N, которая поступает в глобальную контрольную группу (это параметр, который мы пытаемся правильно определить)
• N1 — количество клиентов в GCG = alpha*N
• N2 – количество клиентов в остальной клиентской базе вне GCG = (1 – альфа)*N
• n1 – количество клиентов GCG, у которых был дополнительный кредит наличными.
• n2 – количество клиентов, не входящих в GCG, у которых был дополнительный кредит наличными.
• p1 = n1/N1 - проникновение кредитов в GCG
• p2 = n2 / N2 - проникновение кредитов в остальную клиентскую базу
• Очевидно, что если p2 > p1, то наша деятельность приносит дополнительную ценность p2 - p1, которая, конечно же, подлежит статистической проверке.

Для статистического тестирования мы используем следующие шаги:

1. Рассчитать дельту = p2 – p1 = n2/N2 – n1/N1
2. Проверить статистическую значимость:

Чтобы ответить на вопрос о размере GCG, мы используем следующую логику: каковы последствия выбора неправильного размера для GCG? Есть два варианта:

1. Существенного влияния на бизнес мы не оказываем, но в наших данных мы видим значительный эффект от p2 до p1 (ошибка типа 1 или ложное срабатывание)
2. У нас есть значительное влияние на бизнес, но мы не видим статистической значимости в n2/N2–n1/N1 (ошибка типа 2 или ложноотрицательный результат)

При статистическом тестировании мы обычно контролируем вероятность ложных срабатываний — ошибки 1-го типа по уровню значимости (например, 95%) нашего теста. Итак, когда у нас есть результаты GCG и остальные результаты клиентской базы, мы устанавливаем уровень значимости нашего t-критерия равным 95 % (что означает, что существует 5 % вероятность ошибки типа 1).

Это означает, что нам следует заботиться об ошибке типа 2 — вероятности ложных отрицательных результатов, которая представляет собой значение, которое меняется при изменении размера нашей контрольной группы. Другими словами, при выборе размера GCG мы выбираем вероятность отсутствия бизнес-эффекта, пока он существует. Таким образом, проблема заключается в том, чтобы понять, как вероятность (ложноотрицательный) зависит от доли нашей клиентской базы (альфа), которую мы замораживаем от общения. Следующим шагом является выбор альфы, которая дает нам нашу целевую вероятность (ложноотрицательный результат).

Если мы думаем в терминах статистики, мы сравниваем p2 с p1. p2 и p1 — заведомо случайные величины с асимптотически нормальными распределениями N(m1, m1*(1-m1)/N1) и N(m2, m2*(1-m2)/N2), где m1 и m2 — ненаблюдаемые истинные доли клиентов покупка нашего дополнительного кредита наличными (p1 и p2 - это просто оценки для m1 и m2). Итак, тестирование можно проиллюстрировать следующей картинкой:

Здесь ложноотрицательный результат означает, что у нас есть некоторая разница m2-m1, но мы не можем ее идентифицировать. Вероятность этого события окрашена красным цветом на изображении выше. Интуиция, стоящая за влиянием размера GCG, означает, что при увеличении альфа распределение для p1 становится более узким (поскольку большее N1 уменьшает дисперсию m1*(1-m1)/N1). Графически говоря, оранжевая линия смещается влево, уменьшая ошибку типа 2. Но, с другой стороны, распределение p2 становится несколько шире (поскольку меньшее значение N2 = (1-альфа)*N увеличивает дисперсию m2*(1-m2)/N2). Поскольку альфа << 1, то небольшое увеличение альфа с большей вероятностью уменьшит ошибку типа 2 в результате этих двух противоположных эффектов.

Внимательный читатель, глядя на картинку выше, может легко вывести точную формулу для вероятности ложного срабатывания как функции альфы (с учетом асимптотически нормальных распределений), которая равна квадрату области, окрашенной в красный цвет на картинке. Но нам нужно иметь предположения о m1 и m2 (ожидания p1 и p2).

Это делается просто с помощью следующих шагов:

1. Во-первых, мы устанавливаем m1, который можно принять за бизнес-план банка на следующий год. Предположим, что он равен 0,1 (это означает, что мы предполагаем, что в следующем году банк собирается продать дополнительные кредиты наличными 10% своей клиентской базы).
2. Затем мы спрашиваем нашу бизнес-группу CRM: какое дополнительное значение целевого показателя вы считаете минимально возможным бизнес-эффектом от вашей деятельности? Например, они называют это дельта = 0,01 (что означает, что они считают, что могут продать кредиты наличными как минимум дополнительному 1% нашей клиентской базы в следующем году).
3. m2 рассчитывается просто: m2 = m1 + дельта

Имея эти предположения, мы можем рассчитать нашу ложноотрицательную вероятность для разных значений альфа. Другими словами, мы можем рассчитать вероятность упустить минимально возможный бизнес-эффект, пока он существует для различных размеров GCG, а затем выбрать размер GCG, который дает нам хороший компромисс между отсутствием эффекта и тем, что мы не отключаем слишком много клиентов от наших продаж. мероприятия.

В нашем случае мы согласились иметь альфа = 3%, что привело к менее чем 1% вероятности ложных отрицательных результатов.

Собираемся вместе

Хорошо, теперь мы знаем, как разделить существующих клиентов (мы знаем правильную альфу — долю нашей клиентской базы, которая должна случайным образом попасть в GCG). Но что делать с новыми? Каждый день в нашей клиентской базе появляются новые клиенты. Ответ довольно прост: каждый новый клиент случайным образом попадает в GCG с вероятностью альфа или в остальную клиентскую базу с вероятностью 1-альфа. п

Результаты

Как мы уже говорили выше, нам удалось установить размер GCG равным 3% от всех клиентов. После года сбора результатов наблюдения мы обнаружили, что каждый второй кредит наличными, проданный нашим клиентам, был связан с активностью CRM. Это был неожиданный результат, так как он был намного лучше, чем мы предполагали. Те, кто интересуется математической статистикой, теперь могут провести расчеты, чтобы получить упущенную возможность продажи, если не продавать дополнительные продукты клиентам GCG (3% от всей клиентской базы). Но это цена, которую мы платим за наше знание дополнительной ценности для бизнеса, которую мы приносим как команда CRM.

---

Оригинал