Слепая пятно агента AI: новая граница для аналитики безопасности
11 июня 2025 г.Поскольку наша отрасль стремится развернуть агентов искусственного интеллекта, для групп безопасности возникает новый критический вызов. Мы переходим от мира предсказуемого программного обеспечения к одному из автономных, рассуждающих агентов, и этот сдвиг требует от нас развития нашей стратегии мониторинга безопасности.
Для тех из нас, кто потратил нашу карьеру, создавая и масштабируя платформы аналитики безопасности, это представляет собой следующую великую границу. Основной вопрос больше не просто «что случилось?», Но 'почемуИИ решил действовать?
Полезный способ создать эту проблему'AI поведенческая уверенность'- Необходимость обеспечить соответствие решения агента с его целью и политикой. После работы с командами SOC на переднем крае, ясно, что основополагающие платформы, которые могут принимать и анализировать данные в масштабе, являются ключом к решению этого. Это было прекрасно запечатлено в недавнем разговоре с аналитиком SOC в финансовой фирме. Он описал агентов как «черные ящики с правами администратора» и спросил: «Если кто -то подталкивается к тому, чтобы действовать странно, какой вопрос я бы даже пробежал, чтобы найти его?»
Его вопрос попадает в сердце этой возможности.
Проблема: мы следим за производительность, а не поведение
Агенты ИИ - это не просто приложения. Они воспринимают, разум идействоватьавтономно. Они называют API, запросы базы данных и взаимодействуют с другими системами. И они пролиферируют в бункерах по всему предприятию.
- Копилоты Microsoft живут в экосистеме Microsoft.
- Агенты Einstein от Salesforce живут в своем CRM.
- Пользовательские агенты вашей команды Dev живут ... где -то еще.
Это создает сломанную и опасную реальность. То, что я вижу, является последовательной слепой точкой, потому что наши существующие инструменты часто сосредоточены на операционных вопросах.
Ваш инструмент APM спрашивает:«Агент медленно? Он использует слишком много памяти?»
Ваша платформа аналитики безопасности спрашивает:«Преуспел ли вызов API агента?
Это важно, но они не решают новые, нюансированные вопросы безопасности:
- ПочемуРешал ли агент получить доступ к базе данных счетов клиентов в 2 часа ночи?
- Соответствует ли его рассуждения для этого действия на прошлой неделе?
- Был ли его окончательный ответ результатом быстрого впрыска или его фактической логики?
- Является ли агент тонко утечка PII таким образом, чтобы не вызвать стандартное правило DLP?
Традиционная запись в журнале, показывающая API_CALL_SUCCESS, предоставляет «что», но для обнаружения этих новых угроз мы должны обогатить его с помощью «почему». Это требует нового аналитического подхода в дополнение к данным журнала, которые мы уже собираем.
Техническая возможность: развитие нашей аналитики
Чтобы достичь поведенческой гарантии искусственного интеллекта, нам необходимо создать новые возможности помимо наших существующих платформ данных. Я вижу три критических областях фокуса.
Во -первых, «Поведенческая ДНК».
Каждый агент разрабатывает уникальную оперативную базовую линию. Какие инструменты он использует? Каков его типичный тон и длина отклика? Анализируя его данные об активности с течением времени, мы можем автоматически профилировать эту «ДНК», а затем помечать статистические отклонения в режиме реального времени. Агент, внезапно используя инструмент, который он не коснулся через шесть месяцев, является огромным красным флагом, который требует более глубокого аналитического подхода.
Во-вторых, AI-специфическая логика обнаружения угроз.
Идентификаторы не ищут быстрых инъекций. Сканер вредоносных программ не может обнаружить атаку отравления данных, которая медленно меняет поведение агента. Нам нужно разрабатывать и развернуть новые правила обнаружения и модели машинного обучения на наших аналитических платформах, которые специально разработаны для поиска этих новых, тонких атаковых векторов.
В -третьих, реконструкция цепочки решений.
Когда агент действует неожиданно, инцидент нуждается в регистраторе данных полета. Им необходимо визуализировать всю цепочку судебно -медицинской экспертизы: начальная подсказка -> Внутреннее рассуждение агента -> Инструмент (ы) -> API Call выполнен -> Окончательный ответ. Для этого требуется приложение, которое может анализировать сложные данные трассировки и представлять их интуитивно понятным образом, и все это включено в необработанные данные, хранящиеся на наших центральных платформах.
Почему это срочный разговор
Часы тикают, и ставки становятся выше с каждым днем.
- Привилегированный доступ:Мы передаем этим агентам ключи от королевства, предоставляя им разрешения на действовать от имени пользователей и получить доступ к нашим наиболее конфиденциальным данным.
- Мандат CISO:Лидерам безопасности нуждается в едином взгляде на риск на всех платформах. Олименной подход к безопасности искусственного интеллекта просто не сработает.
- Аудиторы приходят:Регуляторы и андеррайтеры кибер -страхования скоро потребуют проверки агентарешения, не только системные журналы. Акт ЕС AI - это только начало.
Мое мнение: мы должны создать новый уровень приложений для аналитики безопасности
Мое мнение из этого исследования не в том, что нам нужно заменить наши основные платформы безопасности. Напротив,Они более важны, чем когда -либо.Нам нужно пионер новый класс приложенияпостроенный на вершинеНаши платформы данных - приложение «Поведенческая безопасность AI».
Сием или озеро данных становится незаменимой плоскостью данных. Новый уровень приложений выполнит специализированные задачи, которые я упоминал ранее, используя наши существующие инвестиции в инфраструктуру данных, добавляя специализированный интеллект, необходимый для этой новой эры.
Этот подход превращает проблему в огромную возможность: предоставить более богатую, более значимую информацию о безопасности, чем когда -либо прежде.
Давайте вместе определим эту границу
Решение проблемы обеспечения поведения ИИ - это массовое мероприятие, которое потребует сотрудничества между практиками безопасности, экспертами платформы данных и исследователями ИИ. Разговор только начинается.
Мне любопытно - как ваша организация приближается к проблеме видимости для агентов искусственного интеллекта? Какие возможности, по вашему мнению, наиболее важны для платформы аналитики безопасности в этом новом ландшафте?
Давайте обсудим в комментариях.
Мысли и мнения, выраженные в этом посте, являются моими собственными и не представляют официальную политику или позицию моего работодателя. Этот контент предоставляется только для целей информационного и обсуждения.
Оригинал