Ошибка базовой ставки: почему ваша самая умная модель все еще ошибается
30 июня 2025 г.«Проблема не в данных. Это то, как мы игнорируем скучные части этого».
Являются ли модели искусственного интеллекта столь же точными, как говорит проверка проверки? Почему модель с точностью прогнозирования 99% затопила ваш почтовый ящик ложными сигналами тревоги и превращает ваш прекрасный день в кошмар отладки?
Смущенный?
Добро пожаловать вБазовая ставка ошибки- предвзятость, которая приводит к тому, что как людей, так и машины не связаны с вероятностью, когда мы упускаем из виду контекст, в котором существуют данные.
Что такое базовая ставка?
Давайте быстро рассмотрим, что на самом деле является ошибкой базовой ставки.
Абазовая ставкаявляется общей вероятностью события -доУчитывая новые доказательства. Абазовая ставка ошибкипроисходит, когда эти основные вероятности игнорируются, и мы сосредоточены только на новых доказательствах.
Пусть математика говорит
Представьте себе ситуацию, когда заболевание поражает1 из 1000люди. Вы, будучи гением, разрабатываете тест, который99% Точно:
- Если кто -тоимеетЗаболевание, тест положительный в 99% случаев (настоящий положительный)
- Если кто -тонеесть заболевание, тест отрицательный 99% случаев (настоящий негатив)
Теперь предположим, что кто -то проверяетположительныйПолем Какой шанс у них на самом деле болезнь?
Вопреки интуиции, этоне 99%Полем Вот почему:
Из 1000 человек:
- 1 человекНа самом деле есть заболевание → Тест, вероятно, ловит его →1 настоящий положительный
- 999 человекНет заболевания → 1% из них проверяют положительный →~ 10 ложных срабатываний
Итак, среди тех, кто проверяет положительный результат:
- Общее количество положительных средств = 1 (true) + 10 (false) = 11
- Вероятность факта иметь заболевание = 1/11 ≈ 9%
👉 Несмотря на тест, который «точен 99%», ваш шанс быть больным.9%, потому что болезнь такая редкая.
Что1-в-1000являетсябазовая ставка- И игнорировать это приводит к массовому неправильному толкованию.
Почему люди влюбляются в это
Твист? Это не просто математическая проблема - этоПроблема с мозгомПолем
ПсихологиДаниэль КанеманиАмос Тверскиобнаружил, что когда мы оцениваем вероятность, мы подсознательно заменяем жесткие вопросы на более простые. Вместо того, чтобы рассчитать, мы спрашиваем:
«Насколько хорошо эта ситуация соответствует моему ментальному стереотипу?»
Таким образом, когда тест точен 99%, наш мозг говорит:
«Звучит как матч!»
... и мы предполагаем, что результат должен быть правдой.
Этот ярлык называетсяРепрезентативность эвристика, и это заставляет нас игнорировать скучную, статистическую базовую скорость.
Инженер -лауэр CONUNDRUM
Этот эффект был классно продемонстрирован черезИнженер -лавейер ПроблемаПолем
Участникам сказали:
- Есть70 адвокатови30 инженеровв комнате.
- Джек естьинтровертированоВнаслаждается математическими головоломками, илюбит электроникуПолем
Затем спросил: «Какова вероятность того, что Джек является инженером?»
Хотя базовая ставка предполагает30% шанс, большинство людей сказали80–90%-звукикак инженер. Описание кажется репрезентативным, поэтому соотношение 70/30 игнорируется, хотя это более мощный предиктор.
Как это терпит неудачу в реальном мире
** Прогнозы AI \ Вы создаете модель, которая помечает дефектные продукты с точностью 95%. Но если только0,1%Из предметов на самом деле дефектные, большинство оповещений будут ложными положительными. Операции могут перейти в режим паники - ничего.
** Планирование цепочки поставок \ Риски поставщика системы поставщика. Но если только1 из 500Поставки фактически откладываются, большинство предупреждений будут ложными, даже если система технически «точная».
And it happens across a wide range of domains: fraud detection, medical testing, threat alerts, anomaly monitoring—the list goes on.
Решение: Байеса на помощь
Математически,Теорема БайесаПомогает противостоять базовой ставке. Это обновляет наши убеждения, объединяя базовые ставки с новыми доказательствами:
P (a∣b) = p (b) p (b∣a) / p (a)
Где:
- P (a ∣ b): Вероятность возникновения заболевания, получившего положительный тест
- P (B ∣ A): Вероятность положительного тестирования, если у вас есть заболевание
- P (а): Базовая скорость (предварительная вероятность)
- P (B): Общая вероятность положительного тестирования (True + ложные срабатывания)
Теорема Байеса заставляет нас сбалансироватьЧто мы знаемсчто мы видим- Чем -то человеческая интуиция имеет тенденцию пропустить.
Последние мысли
Мы живем в мире, движимом прогнозами - от ИИ до здравоохранения до логистики. Но цифры, независимо от того, насколько сложны, ничего не значат без правильногоконтекстПолем
И иногда самое мощное понимание заключается в скучной, сдержанной вероятности, которую мы слишком быстро игнорировали.
Оригинал