Частые статистики проваливают ваши решения UX - здесь лучший способ
19 июня 2025 г.Дорогие читатели и друзья,
Исследования снова и снова показали, что даже профессиональные исследователи (включая статистиков!) Не могут правильноИнтерпретировать доверительный интервалилиP-значениеБольшую часть времени. Тогда, как вы могли ожидать, что средний Джо будет лучше в этом? Частая статистика (такая, которая дает вам эти доверительные интервалы и P-значения) просто не предназначена для интуитивности.Я писал раньшеО том, как это - и особенно слепая зависимость от «статистической значимости» - может привести к неправильному пути.
Интересно, что многие люди в промышленности интуитивно считают выводами, которые вы можете сделать из частых анализов - например, «есть шанс x% y% подъема» или «есть 95% вероятностьмогна самом деле завершай ... если бы вы использовалиБайесовскийстатистика. Многие инструменты и платформы (например, для онлайн -экспериментов) начали интегрировать байесовские подходы, но практикующие по -прежнему должны быть более знакомы с ними, потому что частые анализы по -прежнему являются преобладающим, «традиционным» способом выполнения статистики в промышленности.
Теперь, какой из лучших способов начать работу с байесовской статистикой? Очевидно, создание собственного байесовского инструмента A/B тестирования с нуля. И это именно то, что мы делаем в моей последней статье вUX Collective, "Байесовское испытания A/B - практическая учебника* (Для людей UX и всех, кто хочет лучше экспериментировать; некоторая готовность справляться со статистикой и точкой с питоном) ».
Шаг за шагом в статье проходит весь процесс, начиная только с количества посетителей и конверсий в двух вариациях A/B -теста и, в конечном итоге, достигая комплементарной функции совокупного распределения (см. Ниже), предоставляя вам весь диапазон вероятностей для всех возможных подъемов. Это совсем не так сложно, как может показаться - я обещаю! (Но вы можете немного прочитать о базовой статистике и программировании в Python, если это необходимо).
Почему это важно для практиков UX
Красота байесовского мышления простирается далеко за пределы A/B -тестирования. Это отражает то, как мы естественным образом думаем о неопределенности в дизайнерских решениях. Когда вы взвешиваете, следует ли реализовать новую функцию, вы не должны искать бинарный ответ «да/нет»-вы должны рассматривать вероятности, компромиссы и диапазон возможных результатов.
Традиционные частые подходы (в то время какнетБыть хуже - или лучше - чем байесовский!) Может заставить людей UX в порогам искусственной уверенности, которые не отражают грязную реальность разработки продукта. Байесовские методы дают нам разрешение наПримите неопределенностьвсе еще принимая решения, информированные данные.
Рекомендации чтения
Поскольку мы погружаемся в статистическое мышление, вот некоторые ресурсы, которые дополняют довольно техническую статью:
📖 Мышление, быстро и медленнокДаниэль КанеманОстается необходимым чтением для понимания того, как наш мозг естественным образом (MIS) справляется с вероятностью и неопределенностью - и в целом одна из самых важных книг для любого человека.
📖 Теория, которая не умреткШарон Бертч МакГрейнРассказывает увлекательную историю байесовской статистики и почему потребовалось так много времени, чтобы получить принятие, несмотря на то, что он более интуитивен, чем частые подходы.
Рекомендации инструмента
🛠 Если вы еще не готовы погрузиться в Python.Байесовский а/B -тестирование динамического урожайностиэто бесплатный веб-инструмент, который позволяет вводить ваши тестовые данные и сразу же увидеть расчеты вероятности байесовского языка без необходимой подписки. Это идеально подходит для немного экспериментов.
🛠 Для тех, кто хочет пойти глубже,Пимкэто отличная библиотека Python для байесовского моделирования, которая выходит далеко за пределы A/B -тестирования.
Цель состоит не в том, чтобы стать статистиком в одночасье, а в развитии более нюансированных отношений с неопределенностью в нашей работе. В конце концов, сам UX в основном связан с принятием решений в условиях неопределенности - мы можем также поправиться об этом.
Как всегда, я хотел бы услышать ваши мысли об этом. Вы столкнулись с ситуациями, когда традиционная статистическая значимость привела вашу команду в пути? Или вы уже экспериментируете с байесовскими подходами? Просто ответьте, чтобы поделиться своим опытом. 🙏🏻
Ваше здоровье,
Максимум
☕ Я люблю кофе, и если вы хотите поддержать мою работу, вы всегда можете
Оригинал