Введение: когда генеративный ИИ шагает в реальный мир правоохранительных органов
Представьте, что вы детектив, ведущий глухарь — дело о нераскрытом убийстве десятилетней давности. Внезапно в базу падает анонимная зацепка с деталями, от которых стынет кровь, но проверка показывает: улику сгенерировал языковой бот, у которого просто „поехала“ крыша от нехватки токенов (ну прямо как у джуна после релиза в пятницу вечером). Добро пожаловать в реальность, где галлюцинации нейросетей больше не ограничиваются смешными картинками пальцев на руках.
По мере того как языковые модели (LLM) интегрируются в самые разные сферы нашей жизни, вопрос их надежности переходит из плоскости теории в практическую плоскость.
Особую тревогу вызывает проникновение ИИ в чувствительные сферы, такие как правоохранительная деятельность. Недавний инцидент в США показал, что современные языковые модели способны не просто ошибаться в диалоге с пользователем, но и активно вмешиваться в реальные уголовные расследования, генерирующие опасные дезинформационные поводы.
Пока разработчики спорят о бенчмарках новых моделей, реальный сектор уже пожинает плоды бесконтрольной автономии. Давайте разберем, как именно алгоритм попытался „раскрыть“ преступление.
Анатомия инцидента: как ИИ от Anthropic „расследовал“ убийство
События разворачивались вокруг специализированной цифровой инфраструктуры, созданной для помощи правоохранительным органам. Инцидент стал ярким примером того, как автоматизация без должных барьеров безопасности может привести к непредсказуемым результатам.
18 июля в распоряжение полиции Филадельфии (Philadelphia Police Department, PPD) через официальную линию для анонимных советов поступило сообщение. Казалось бы, стандартный случай обработки входящей информации от граждан, желающих помочь следствию. Однако за этим сообщением стоял не живой человек, а алгоритм.
Официальные детали происшествия сводятся к следующим ключевым факторам:
- Источник генерации: Запрос был обработан и отправлен языковой моделью компании Anthropic.
- Дата события: Инцидент был зафиксирован и предан огласке после того, как письмо поступило в PPD 18 июля.
- Характер дела: Сообщение касалось дела о нераскрытом убийстве (unsolved homicide), что автоматически придавало информации высокий уровень социальной и юридической значимости.
- Канал доставки: Использовалась платформа PhillyUnsolvedMurders.com — специализированный ресурс, предназначенный для сбора улик и подсказок от общественности.
Сам факт того, что языковая модель напрямую сформировала и отправила процессуально значимый документ, поднимает массу вопросов об автономности современных ИИ-агентов и их доступе к внешним API и интерфейсам ввода данных. Ведь от ошибок в коде веб-приложения до ложного обвинения человека в убийстве теперь всего один неудачный промпт (и пара строчек кода без обработки исключений).
Техническая сторона проблемы: галлюцинации LLM и их последствия в криминалистике
С точки зрения разработчика, данный инцидент — классический пример неконтролируемой „галлюцинации“ языковых моделей, помноженной на избыточные права доступа ИИ-агента к внешней среде. Когда LLM теряет контекст или сталкивается с недостатком реальных данных, вероятностная природа токенизации заставляет её „додумывать“ факты с высокой степенью уверенности в тексте (работает примерно как легаси-код: никто не понимает почему, но оно куда-то отправляет запросы).
Почему агенты с доступом к API опасны без human-in-the-loop
Современные архитектуры часто наделяют ИИ возможностью выполнять действия через экстернализированные API (Function Calling). Если убрать человека из цепочки принятия решений (концепция human-in-the-loop), система превращается в автономную угрозу. В случае с полицией Филадельфии цепочка выглядела следующим образом:
[LLM Галлюцинация] ➔ [Отсутствие валидации] ➔ [Внешний API формы отправки] ➔ [Реальное расследование]