Как решить проблему с ключевыми метриками в продукте B2B

Чтобы понять свой бизнес и понять, куда он движется, крайне важно выбрать правильные показатели и иметь возможность видеть их все в контексте. Отслеживая и предпринимая действия по улучшению основных показателей, вы можете повысить ценность продукта и повысить его эффективность. Чтобы узнать, как B2B-компании решают проблему с ключевыми метриками в продукте, я связался с Юрием Бранковским.

Юрий Бранковский — директор по продукту GetOutfit, быстрорастущего онлайн-сервиса по подбору одежды. У Юрия есть опыт работы в разных сферах: HRTech, GameDev и FashionTech в таких компаниях, как Wargaming, VCV.ai, а также участие в различных акселерационных программах.

Юрий, добро пожаловать! Можете ли вы рассказать нам о своем опыте работы в сфере B2B, как вы оказались в этой сфере?

Ю.Б.: В первую очередь меня интересовали новые технологические продукты, которые не просто автоматизируют какие-то процессы, а меняют весь рынок или хотя бы его часть. И один поставщик, которого я знаю, сказал мне, что VCV.ai ищет новых людей для инвестиций и расширения на международном уровне. VCV — это сервис видеоинтервью, который позволяет кандидатам записывать видеоответы на заранее подготовленные рекрутером вопросы. Это сокращает время найма, экономит время менеджера на собеседовании с неподходящими кандидатами и позволяет провести первоначальный отбор, включая профессиональные и социальные навыки.

И все это делается онлайн?

Ю.Б.: Да, именно так. Кандидату не нужно тратить время на поездку в офис на собеседование, а рекрутеру не нужно тратить час на собеседование с кандидатом, который не совсем подходит по первым ответам на вопросы менеджера.

В то же время, поскольку вы собираете много данных о кандидате, можете ли вы создавать целые профили специалистов?

Ю.Б.: В принципе, это один из способов развития сервиса, но на тот момент это не было основной стратегией.

Хорошо, в чем принципиальная разница между B2B и B2C только с точки зрения определения эффективности продукта? Я имею в виду, что в обоих случаях выручка является основным показателем, верно?

Ю.Б.: Безусловно, ключевой метрикой в ​​продукте будут деньги. Но когда мы говорим об эффективности разработки продукта, также важно понимать, насколько быстро растет продукт, почему он растет и какие его части больше влияют на рост, а какие меньше. В B2C это происходит совершенно однозначно: если продукт решает проблемы пользователя, он за него платит. Если его устраивает качество, он продлевает подписку и приглашает своих друзей.

Разве в B2B не так?

Ю.Б.: Нет. Например, рекрутеры и HR используют видеоинтервью, но решение о покупке продукта принимает HR-директор, который не видел этот продукт своими глазами. Получается, что одни пользуются, а другие покупают. И тут не совсем понятно, как связать одно с другим по метрикам. Например, компания может пользоваться сервисом редко, но в конце года ей все равно приходится перезаключать договор. И, наоборот, может использовать его часто в течение пробного периода, но в итоге отказаться от использования за плату.

И вы, как вендор, не можете на это повлиять?

Ю.Б.: Я бы сказал иначе: это влияние не всегда однозначно. Ведь компания может закончить контракт на продление из-за харизмы менеджера или директора по продажам. Или потому, что компании просто неудобно переходить на другую услугу или переобучать персонал. Поэтому анализ продуктовых метрик усложняется. В общем, в некоторых случаях невозможно определить, что влияет на те или иные вещи. В результате продукт чаще выступает в роли аккаунт-менеджера, который собирает обратную связь от клиента, или исследователя, который анализирует рынок, чтобы понять, в каком направлении развивать продукт.

Почему это неудобно?

Ю.Б.: Потому что в продукте не так много инструментов для проверки гипотез, которые дают статистические результаты. Это означает, что существует более высокая вероятность того, что гипотеза не будет востребована, поскольку оценка ее потенциала является субъективной. Например, может быть 100 компаний, в которых в общей сложности 200 человек используют продукт. При этом компании из разных областей, что не позволяет провести единую выборку и провести сплит-тест.

Кроме того, сервис используется нерегулярно, по-разному. Как узнать, становится ли продукт более ценным или нет? Когда количество пользователей исчисляется тысячами, то можно говорить о MAU, DAU и Retention. И эти цифры коррелируют с финансовыми показателями. В B2B Retention может быть невысоким внутри одной компании, но в конечном итоге заплатит клиент. Поэтому трудно установить корреляцию, если пользователей немного.

Так что же ты тогда сделал?

Ю.Б.: Нам нужно было найти какую-то метрику и усилить ее, чтобы ее изменения были более заметными. Такой метрикой может быть, например, количество сеансов. Но как понять масштаб изменений, если пользователей в целом немного? Мы выбрали время между сеансами. То есть чем чаще пользователь использует продукт в целом или отдельную функцию, тем лучше. А чтобы изменения были более заметными, метрику можно представить в логарифмическом масштабе.

И что это вам дает?

Ю.Б.: Дело в том, что линейная шкала показывает значение стоимости «как есть». А если изменения не столь интенсивны (в нашем случае из-за малого количества пользователей) и неравномерны (поскольку распределение сеансов неравномерно, так как использование услуги малым количеством клиентов более «импульсивно»), а скорость изменения показателя относительно его минимального значения определить сложно. При этом в логарифмическом масштабе график строится в зависимости от увеличения стоимости.

И что это означает с аналитической точки зрения?

Ю.Б.: Представьте, продуктом сначала пользуется небольшое количество людей, но через некоторое время количество клиентов растет. На линейной шкале вы бы увидели изменение метрики в виде резкого всплеска, как будто продукт раньше не рос, и вдруг все «побежали его использовать». Если сравнить с началом графика, то он действительно выглядит так. В то время как в логарифмическом масштабе этот всплеск будет уменьшен, поскольку он учитывает скорость роста индекса. Проще говоря, раньше продукт тоже рос, даже если клиентов было меньше. В итоге, вместо того, чтобы решать, что он "лопнул" после этого релиза, можно сделать более реалистичные выводы. То есть логарифмическая шкала как бы фокусируется на скорости изменения функции, а не на приращении.

То есть, как вы сказали, позволяет усиливать именно изменения в метрике, чтобы эффект от того или иного события был более очевидным.

Ю.Б.: Точно. И именно по этим данным можно сделать вывод, эффективен продукт или нет. Сложность, однако, в том, что в данном случае важно понимать суть логарифмирования, а для этого придется немного перестроить свое мышление, особенно если у вас нет математического образования. У меня его не было, и мне потребовалось некоторое время, чтобы привыкнуть к этой метрике.

Как вы вообще к этому пришли?

Ю.Б.: Благодаря нетворкингу. У нас не было своего аналитика, и обычные метрики нам не помогали. Поэтому мы обратились за помощью к экспертам-аналитикам. Мы рассказали им о наших целях и попросили помочь нам определить индикатор. И в итоге поговорили с аналитиками на продуктовой конференции и оказалось, что эта метрика оказалась самой подходящей.

А что бы вы посоветовали тем, кто сейчас ищет метрики для своего B2B-продукта?

Ю.Б.: Ну, во-первых, важно понимать, что в B2B есть специфика: если продукт каким-то образом решает проблему сотрудника, он может продолжать им пользоваться, даже если интерфейс очень неудобный. В B2C пользователь уже бы сдался и переключился на другой продукт. В частности, потому что стоимость переключения ниже. Поэтому независимо от того, какую метрику вы выберете, важно общаться с клиентами. Понять, как они используют продукт, объединить похожие рабочие сценарии, улучшить гипотезы в этих сценариях, затем провести UX-тесты и внедрить в продукт новые функции. Но используйте метрики больше как показатель ценности продукта. Сравните, как часто он используется, почему время или частота использования отличается от компании к компании.

При этом не забывайте, что помимо функционала, решающего ту или иную задачу, есть продающие функции, которые в продаже звучат и выглядят эффектно, но могут быть использованы только раз в месяц. Например, отчеты для руководителя можно готовить раз в месяц, а то и раз в квартал. Итак, аналитика используется редко, но если у вас нет аналитики для руководителя, продукт может вообще не быть купленным, вот в чем дело.

Юрий, большое спасибо за рассказ. Было крайне интересно услышать об опыте человека, который работал в разных областях и сегментах, тем более, что тема аналитики и управления продуктами данных сегодня очень актуальна.

Ю.Б.: Рад поделиться своим опытом, надеюсь, он поможет кому-то в разработке продукта.