Агенты ИИ растут - и им нужно воспитание нулевого доверия
17 июля 2025 г.Давайте не будем шутить.
Десять лет назад большинство так называемых «агентов ИИ» были чуть больше, чем прославленные машины Рубе Голдберг с причудливой маркетинговой колодой. Они были детерминированными, хрупкими и почти комично буквальными. Вы можете обернуть их в гладкие интерфейсы, пощечивать логотип стартапа и разбить их как «умных помощников», но под капотом они были в основном макросы на стероидах - после того же предсказуемых петлей снова и снова.
Помните ранние чат -боты?Те, которые сломали бы минуту, вы сформулировали вопрос, немного иначе, чем ожидали? Если вы сказали«Отменить бронирование моего рейса»вместо«Я хотел бы отменить бронирование»,Они смотрели в ответ в экзистенциальном страхе. В 2015 году большинство «агентов» ИИ были основаны на деревьях решений, настолько мелких, что вы могли диаграммы на салфетке.
Затем произошла революция трансформатора. Когда Google опубликовалВнимание - это все, что вам нужноБумага В 2017 году она открыла дверь к языковому моделированию в масштабах, которые мы не представляли. Оттуда вы можете провести прямую линию через Bert, GPT-2, GPT-3 и волну моделей, специфичных для домена, которые начали на самом деле понимать-ну, вроде как-что люди пытались сказать.
Перенесемся в будущее прямо сейчас, и разница ошеломляет. Сегодняшние агенты не просто выплевывают шаблонные ответы. Они:
- Проект характеристики продукта, которые выглядят жутко человеческими.
- Суммируйте юридические контракты с большей беглостью, чем младший партнер.
- Предложите A/B тестовые идеи до того, как ваша команда продукта даже появится на стоянке.
Они больше не статические инструменты. Они динамичны, адаптивны и - давайте будем реальными - уже встроенные в рабочие процессы, которые касаются вашего дохода и вашей репутации.
И, конечно, интересно видеть, как ИИ заканчивает эквивалент щелочного клона к чему -то, что искренне ощущается как соавтор. Но я думаю, что мы должны накачать тормоза, прежде чем раздавать золотые звезды.
Поскольку проблема заключается в том, что большинство организаций все еще рассматривают эти системы, как невинные стажеры, не способные испортить вещи. Мы предполагаем доверие, потому что они звучат гладко. Мы предполагаем зрелость, потому что демонстрация была впечатляющей. Мы предполагаем безопасность, потому что, ну, все остальные используют их, так что все должно быть хорошо.
СПОЙЛЕР: Это не так.
Инфраструктура, политика и методы безопасности вокруг ИИ отставали на милю. Мы обновили двигатель и приборную панель, но оставили тормоза в 2013 году.
Если вы думаете, что это звучит безрассудно, вы правы. И ты не одинок. Гартнер недавно подсчитал, что к 2027 году,40% организаций будут перенесены на крупный инцидент, связанный с искусственным интеллектом.Не теоретический риск. Почти определенность.
Вот почему это не история о чудо современного ИИ. Речь идет о том, как мы поднимаем эти системы в среде, где предполагается доверие, а не заработано - и что мы должны сделать до того, как это самоуспокоенность укусит нас. Жесткий.
Разрыв в безопасности: почему агентам ИИ нельзя доверять вслепую
Давайте рассмотрим самый большой миф прямо впереди:
Хорошо разработанные агенты ИИ будут вести себя предсказуемо.
Конечно, в стерильной лабораторной среде, где никто никогда не сочетает их с неожиданными подсказками или вредоносными полезными нагрузками, они могут. Но в реальном мире, где сроки вырисовываются, отходы персонала оборота и нападавшие все время в мире, чтобы тыщика по вашим краям, предсказуемость испаряется.
Иллюзия безопасности
Почти утешительно представить, как ваш агент ИИ как верная собака: вы учите это командам, вы укрепляете хорошее поведение, и это никогда не выходит из строя. Но это не так, как это работает.
На практике большинство развертываний по -прежнему опираются на желаемое мышление. Вы были бы поражены, сколько компаний предоставляют своим агентам широко открытые разрешения на предположение, что они «сделают только то, что им говорят».
Вот проверка реальности:
- Переполняемые системы являются нормой, а не исключением.
- Многие компании позволяют своим агентам ИИ прочитатьи написатьВ критических системах - выставление счетов, CRM, платформы поддержки клиентов - без каких -либо эффективных ограждений.
- Основные операционные элементы управления (например, подтверждения на согласие или контекстуальная проверка) являются запоздалой мыслью.
Я лично рассмотрел среды, где у агента ИИНепревзойванный доступПеревод: никто не хотел устанавливать гранулированные разрешения.
Скрытый риск памяти
Другая проблема, которую большинство людей не ценят: накопление контекста.
Современные агенты не просто обрабатывают ваши подсказки в изоляции. Они помнят - все.
- Каждый разговор, который у вас был с ними о деликатных переговорах.
- Каждое частичное полномочия, которые вы встали в спешке.
- Каждая крошечная инструкция, которая в изоляции кажется безвредным, но в совокупности создает план вашей деятельности.
Эта память - почему ваш агент может быть настолько полезным - он может поднять, где вы остановились, и доставить непрерывность. Но именно поэтому один компромисс может различить привилегированные данные, такие как свернутый шкаф.
Если вы думаете, что я преувеличиваю, подумайте: в 2024 году исследователиHiddenlayerпродемонстрировали, как быстрое инъекции в LLMS могут получить куски конфиденциальных учебных данных и предыдущих разговоров. И это была только контролируемая демонстрация. В дикой природе эти атаки становятся все более изощренными.
Действия с цепочкой без адекватных гарантий
Современные агенты не живут в изоляции. Они могут запустить каскад операций - привлечение данных клиентов, обновление счетов, отправка электронных писем, движущиеся средства.
Одна, казалось бы, безобидная команда может развернуться вДесятки последующих эффектов.И все же, в большинстве реализаций, нет надежного механизма, чтобы остановить цепь, если что-то выглядит подозрительно в середине выполнения.
Это цифровой эквивалент предоставления вашему стажеру мастер -клавиши, потому что «это проще», только чтобы понять, что они могут разблокировать каждую дверь в здании - и вы не узнаете, пока ущерб не будет нанесен.
Способность ошибочности как зрелость
Многие организации попадают в эту ловушку: если система мощная, она должна быть зрелой.
Неправильный.
Власть без надзора не является зрелостью. Это гордость.
Эти агенты не являются опытными сотрудниками с многолетними суждением. Это динамические микросервисы, которые - если вы не осторожны - могут мучиться в обязательства, то второе идет вбок.
Зрелость требует больше, чем ослепительная способность. Это требует дисциплины для обеспечения ответственности.
Zero-rust: выходя за рамки модного слова
«Zero-rust»Похоже, что ваша команда по соблюдению бормочет, чтобы оправдать покупку другой платформы поставщиков, я знаю. Но убрать жаргон, и это мертвая идея:Ничего не доверяйте по умолчанию.
Если это кажется бюрократическим, рассмотрите это: чистый код не остается чистым. Даже лучшие модели загрязнены неаккуратными подсказками, небезопасными интеграциями или злонамеренными актерами, которые тестируют ваш периметр.
Подумайте об этом так: оставляя входную дверь открытой, потому что «район чувствует себя в безопасности» - до того дня, когда это не так. Zero-rust означает каждый запрос, действие и доступ к данным подлежат непрерывной валидации. Речь идет не о паранойе ради паранойи. Речь идет о признании того, что Systems-даже умные дрейфы с течением времени.
Если вы позволите агенту искусственного интеллекта накапливать привилегии и пропустить проверку во имя «эффективности», вы эффективно передаете ключи любому, кто выясняет, как ее выдать себя за себя. Это не инновации. Это халатность, одетая как скорость.
В реальности, где возможности ИИ усыпают, бдительность не является рутиной - это столовые ставки.
Столпы нулевого достопримечательности для систем ИИ
Если вы серьезно относитесь к тому, чтобы не стать слепым, вам нужно больше, чем добрые намерения. Вам нужна структура.
1. Непрерывная идентичность и проверка доступа
Забудьте о старой модели, где вы аутентифицируете один раз, а затем откройте каждую дверь. В нулевом доступе каждое чувствительное действие требует свежей проверки:
Кто ты? Почему ты сейчас здесь?
Если ваш агент не может ответить, он не попадает.
2. наименьшая привилегия по дизайну
Разрешения должны быть узкими и специфичными для задачи. Если работа агента состоит в том, чтобы суммировать PDF -файлы, то это все, что он делает - не рыться через платежную ведомость или клиент PII «на всякий случай».
3. Поведенческий мониторинг
Знайте, как выглядит «нормальный». Когда ваш агент внезапно начинает загрузку счетов в 2 часа ночи, вам не нужна догадка. Вам нужны оповещения, которые стреляют, прежде чем ваши данные выходят из двери.
4. Аудит и прозрачность
Держите журналы - настоящие. Подсказки, действия, ошибки, все это. Не для театра соответствия, а для раннего предупреждения. Потому что, когда что -то чувствует, тщательный аудиторский след - ваш лучший шанс узнать, почему до того, как он станет заголовком завтрашнего дня.
Создание инфраструктуры с нулевым дозом: от теории к практике
Теория милая. Но исполнение - это то, где большинство команд задыхается. Давайте сделаем это конкретным.
1. Защитный слой оркестровки
Думайте об этом как о вашей башне управления ИИ. Он осматривает каждый запрос в режиме реального времени, применяет правила политики и перехватывает команды, прежде чем они достигнут производства. Крупные игроки теперь делают этот слой приоритетом, потому что он помогает поймать быстрые инъекции и блокировать тенистые вызовы API, прежде чем они нанесут урон.
2. Снизимость памяти
** Память вашего агента - губка. Если вы не вытащите его, это впитывает все - включая вредоносные инструкции. Новые подходы объединяют эвристику (например, проверки входных шаблонов) с классификаторами ML, которые обнаруживают аномалии в истории быстрого. Для справки, посмотрите на работу Лэнгкейна над фильтрацией контекста и гигиены поиска.
3. Агент брандмауэр
Так же, как у вашей сети есть брандмауэр, ваш ИИ нужен. Двигатель правил плюс обнаружение аномалий - поэтому, когда агент идет мошенничеством, вы можете сделать паузу в середине действия. Это не гипотетическое: платформа Azure Az Microsoft уже развертывает брандмауэры агента, которые регистрируются и дроссельные рискованные поведения.
4. Двигатель политики доступа
Нет общего разрешения. Разрешения назначаются динамически для выполнения задачи. Если что -то станет скомпрометированным, радиус взрыва остается маленьким.
Назовите это дисциплиной. Назовите это инстинктом выживания. В любом случае, это единственный разумный путь вперед.
Сдвиг мышления: бдительность как философия дизайна
Нулевой достопримечательность больше не является обязательным. Слишком много команд по -прежнему относится к безопасности как к болту - то, что вы посыпаете после запуска, когда аудитор начинает задавать вопросы. Это мышление является ответственностью - бдительность должна быть частью вашей дизайнерской ДНК.
Конечно, сложность чувствует себя пугающей, особенно если вы привыкли быстро отправлять и беспокоиться о очистке позже. Но ИИ не игрушка. Вы передаете системы возможности для запуска финансовых транзакций, касания данных клиентов и формирования решений, от которых зависит ваш бизнес.
Посмотрите наБританская библиотека атака вымогателей в 2023 году- Системы не были агентами искусственного интеллекта, но принцип содержит. Единственная точка доверия была скомпрометирована, и влияние было катастрофическим. Теперь представьте, что это нарушение доверия было динамичным и автономным, постоянно переподшившись на украденные данные.
Вот противоречивая правда:Зрелая инфраструктура и жесткая безопасность фактически обеспечивают скорость.
Когда вы можете доказать, что ваши системы ведут себя как предполагаемые, вам не нужно замедлять все из -за страха. Вы можете с уверенностью масштабировать вместо того, чтобы скрещивать пальцы каждый раз, когда вы развертываете.
Это не паранойя. Это профессиональный взрослый возраст.
Заключение: доверие должно быть заслужено - и доказано
Агенты ИИ больше не находятся на полке «приятной». Они втянуты в вовлечение клиентов, операции, финансы - артерии вашего бизнеса. Это не научный проект. Это ваша репутация и ваш доход на линии.
Так что вопрос не«Мы доверяем ИИ?»- Это слишком расплывчато, чтобы быть полезным. Реальный вопрос: оправдано ли наше доверие - и можем ли мы доказать это всем, кто спрашивает? Если вы не можете ответить на это, вы бегаете на надежду вместо доказательств. И надежда, как знает любой опытный оператор, является ужасной стратегией.
Итак, вот мой призыв к действию:
Переосмыслить вашу инфраструктуру. Затяните свою политику. Бросьте вызов каждому ленивому предположению, которое вы сделали о том, что эти системы могут и не могут сделать. Потому что возможность ИИ будет продолжать составлять набор, будь вы готовы или нет. Вот почему ваша бдительность должна не отставать.
Доверие не бесплатно. Он заработал, проверяется и - при необходимости - отменен.
Оригинал