RCA для технических менеджеров: как решить проблему с продуктом

Интервью по исполнению продукта очень важно в повседневной работе менеджера по продукту. Приведенные задачи более аналитические, стратегические и целенаправленные, в отличие от дизайна продукта.

Одним из таких вопросов по реализации продукта является отладка проблемы в продукте, функции или ключевом показателе производительности, которую обычно задают в FAANG/крупных технологических компаниях (интервью Google, Facebook). Интервьюер объясняет некоторые симптомы (например, изменение показателей, функций или поведения клиентов) и ожидает ситуационного анализа и анализа основных причин проблемы. Они называются отладкой, исследованием, основной причиной, изменением показателей или диагностикой вопросов. Даже в типичной рабочей среде PM и его команда имеют ограниченное время и ресурсы для оценки таких проблем и реагирования на них. Подобно Доктору, здесь PM пытаются:

• Понять симптомы, задавая вопросы

• Проверьте соответствующие индикаторы

• Исследуйте различные причины и их вероятности методом проб и ошибок

• Исключите возможности одну за другой, чтобы найти правильную первопричину и, наконец,

• Прописать решение

Вместо того, чтобы быть основным диагнозом, поставленным врачом, его следует понимать как анализ случая, проводимый различными медицинскими экспертами в ОТ (операционной). В данном случае PM ведет дискуссию между инженерами, бизнесом, операциями и наукой о данных.

РЕШЕНИЕ ПРОБЛЕМ: ВОПРОСЫ ПО ИСПОЛНЕНИЮ ПРОДУКТА

• Продукт FB показывает падение числа новых зарегистрированных пользователей на 10%:

какие данные вам понадобятся, чтобы понять и решить проблему?»

• Вы являетесь личным менеджером входа в FB для третьих лиц, и показатели успешных входов в систему не работают,

Что вы будете делать?

• Представьте, что вы были менеджером по продажам на торговой площадке покупателя;

какая будет ключевая метрика, как бы вы диагностировали дроп.

• Клиенты Yelp написали в Твиттере о неправильном времени ожидания в функции списка ожидания.

Как бы вы расследовали?

• Один из наших продавцов замечает рост мошенничества.

Как бы вы решили проблему?

• Вы являетесь премьер-министром Lyft, количество пользователей, отменяющих поездки, резко возросло.

Как бы вы это проанализировали и исправили?

• Вы провели A/B тест. Вовлеченность страницы выше, но активность ленты новостей падает.

Что вы будете делать?

• Вовлеченность LinkedIn падает на 10% день ото дня.

Каков будет ваш подход к этому?

В этой статье мы поделимся исчерпывающим подходом с примерами вопросов, которые можно задать интервьюеру. В целом, решение этих вопросов включает 4 шага.

1) Уточнить

Понять проблему/метрику

Во-первых, хорошо разберитесь в вопросе и метрике. Важно, чтобы вы решили правильную проблему. Убедитесь, что вы повторили проблему и определение метрики, которая показала изменение. Например, если проблема заключается в том, что «вовлеченность LinkedIn падает на 10% день за днем…». Во-первых, поймите, как измеряется вовлеченность для Linkedin, если это неясно.

УТОЧНЯЮЩИЕ ВОПРОСЫ :-

Как мы определяем метрику?

Это абсолютное или процентное изменение показателя?

В какой период наблюдаются изменения? Это за день или неделя за неделю?

Что такое базовый уровень? Знаем ли мы уже, что это изменение является высоким или низким?

Считаем ли мы это очень срочным или критическим с точки зрения воздействия?

• Совет для профессионалов:-
  # Вы также можете выразить свое понимание с помощью предположения, например, «Вовлеченность пользователей в LinkedIn, которая, как я полагаю, измеряется совокупно с точки зрения количества просмотров сообщений, отметок «Нравится», репостов и комментариев от пользователей LinkedIn, составляет падает со скоростью 10% в день»*

2) Исследуйте

Проанализируйте ситуацию — задайте уточняющие вопросы

Понимание ситуации и контекста требует изучения как внутренних, так и внешних факторов. Внутренние факторы в основном находятся под контролем команды, в то время как внешние факторы находятся вне их контроля. Как правило, этот подход является одновременно взаимоисключающим и исчерпывающим и, следовательно, экономит время на отладку. Сообщите о своем подходе и вопросах интервьюеру, чтобы он мог предоставить вам дополнительную информацию и помочь определить причину.

Внутренние факторы

Во время реального сценария на рабочем месте менеджер проекта обычно сначала исследует следующие внутренние факторы.

• Данные - измерение воронки, ошибки данных, связанные показатели

• Временная шкала - внезапные изменения в сравнении с долгосрочными тенденциями, сезонность

• Пользователь - сегменты клиентов, обратная связь, социальный шум

• Продукт - география, канал, связанные характеристики

• Технология - ошибки, новое развертывание
  

УТОЧНЯЮЩИЕ ВОПРОСЫ :-

Данные

Каково влияние на ключевые показатели или показатели North Star — вовлеченность, пользовательский трафик?

Анализировали ли мы показатели воронки? Бототрафика больше или меньше?

Каковы показатели спроса или предложения?

Возможно ли, что мы неправильно измерили метрику?

Лента новостей

Является ли изменение разовым событием, произошло ли оно в прошлом или постепенно?

Когда проблема впервые обнаружена и с какого момента она фактически происходит?

Видим ли мы какую-либо тенденцию сезонности? Произошло ли это во время Пика/Рождества/праздников?

Пользователи

Каково влияние на общий путь пользователя (от приобретения до удовлетворения)?

Предполагают ли данные, что проблема связана с потребительским сегментом? Новый ? Платно или бесплатно?

Есть ли у нас какие-либо отзывы пользователей и отзывы в социальных сетях?

Продукт

Что такое фаза продукта? взрослый или новый?

Это происходит во всех географических регионах или в любом регионе? Язык ? новый запуск?

Это происходит для некоторых или всех каналов или категорий?

Есть ли какие-либо видимые изменения в показателях каких-либо других функций?

• Платежный сервис? Рекомендация/Лента/Поиск/СТА?

Происходит ли снижение на определенных платформах, таких как iOS, Android, Интернет или других?

Это происходит в браузерах или моделях телефонов?

Запуск/изменение новой функции? Изменение продукта любой группой разработчиков продукта?

Какие-нибудь изменения в маркетинге продукта?

Технологии

Делали ли мы какое-либо развертывание в последнее время?

Были ли простои, простои, задержки, сервисные предупреждения, время загрузки?

Обнаружили ли мы какую-либо ошибку, которая может повлиять на изменение?

Есть ли какие-либо технологии/сервисы (облако, машинное обучение, SEO/SEM), которым грозит сбой?

Внешние факторы

После проверки внутренних факторов мы перейдем к приведенным ниже внешним факторам.

• Промышленность

• Конкуренты

• Поведение пользователей

• Общество или окружающая среда

УТОЧНЯЮЩИЕ ВОПРОСЫ :-

Есть ли тенденция в отрасли, о которой мы должны знать? Какое-либо влияние на конкурентов?

Есть ли конкуренты, захватившие долю рынка?

Любые новые запуски/объявления/новости от конкурентов?

Существуют ли какие-либо макроэкономические факторы, такие как covid? Праздник/Спорт/Забастовка/Катастрофа

Какие-либо долгосрочные изменения в поведении целевого пользователя (например, онлайн-доставки)?

Какие-либо сбои в работе стороннего поставщика услуг или платформы (например, Cloud, Appstore)?

Совет профессионала:-
#Чтобы быть исчерпывающим, лучше в любом случае рассмотреть внешние факторы, даже если вы уже обнаружили некоторые вероятные внутренние причины.

3) Выдвинуть гипотезу

Укажите возможные причины

Теперь, когда вы собрали всю информацию, синтезируйте информацию и постройте гипотезу для проверки. Определите приоритетность гипотезы, которую необходимо проверить, и поделитесь своими доводами. Вы можете использовать такую ​​фразу, как «Позвольте мне построить некоторую гипотезу, чтобы проверить и определить причину». Сформулируйте предположение, основанное на идентифицированной информации, например: «Давайте предположим, что алгоритм, который определяет публичные события, показывается/рекомендуется пользователю на его странице событий».

Проверьте гипотезу с данными, проверив

• Отзывы клиентов - обзоры приложений, билеты CS, упоминания в социальных сетях

• Журналы, отчеты о сбоях, сетевая активность - dos-атака, дата-центр

• Связанные ключевые показатели эффективности

• Метрики трафика и воронка конверсии

• Уведомления/маркетинговые сообщения

• Рыночные данные

ОБЩИЕ ПРИЧИНЫ: -

Ищите Drop in воронку — общий трафик к разговору

Ошибки или новые запуски – Рекомендации/Лента/Поиск/СТА

Проблема с каналом — органический поиск, реферал, прямой, новый клиент, повторный клиент.

Проблема с платформой — IOS, Android, Mweb, Web

Проблема категории – "Количество возвратов обуви/одежды покупателями"

Проверьте сегменты клиентов - новые против старых

Развертывание функций, обновления приложений, A-B тестирование, изменение пользовательского интерфейса, настройки конфиденциальности

Инструментирование данных/вопросы отчетности

Тенденции рынка или динамика пользователей — удобные способы оплаты

Бедствия - Международная проблема снабжения, Стихийное бедствие, Ковид, Футбольный матч

Совет от профессионалов :-
#В то время как продакт-менеджеры проверяют гипотезу в реальной ситуации, они также информируют все партнерские команды (команды по бизнесу, технологиям, операциям, данным, обслуживанию клиентов) в зависимости от воздействия и срочности. Они запрашивают любую дополнительную информацию или отзывы от команд.

4) Заключение

Обобщить с рекомендацией

Наконец, подведите итоги и порекомендуйте план действий. Подчеркните, что вы с достаточной уверенностью исключили другие причины и продолжите мониторинг и расследование, пока мы не решим эту проблему. Расставьте приоритеты и порекомендуйте набор функций/исправлений для решения. Сообщите о компромиссах, если таковые имеются.

ОБЩИЕ ДЕЙСТВИЯ: -

Проверьте пользовательский интерфейс/поток самостоятельно

Начать анализ воздействия

Исправление

Откатиться

Поиск, рекомендации или другие алгоритмы Data Science

Согласуйте бизнес/продуктовые команды на компромиссах

Оригинальная история опубликована Tarun @ Prodbee