Большая технология AI Security Hole Big не хочет говорить о
25 июля 2025 г.Автономная революция агента не придет - это здесь, и это ужасно.
Auto-GPT-размотные задачи по десяткам API без разрешения. Девин пишет код, выдвигает коммиты и внедряет изменения инфраструктуры во время сна. Superagi организует сложные рабочие процессы, которые потребуют недели человеческой команды, на протяжении всего простых разговорных интерфейсов, который кажется обманчиво безопасным.
Но вот о чем никто не говорит на конференциях AI: эти агенты больше не принимают решения о генерации текста или классификации изображений. Они вызывают реальные вызовы API с реальными разрешениями для реальных систем, которые контролируют фактическую инфраструктуру, финансовые транзакции и конфиденциальные хранилища данных.
Вопрос не в том, идеально ли ваше выравнивание искусственного интеллекта. Это то, доверяете ли вы 47 различным облачным сервисам, к которому есть ваш агент, - и забытые токены OAuth, учетные записи услуг и статические учетные данные, которые соединяют их все вместе.
Оповещение о спойлере: Вы не должны.
Поверхность атаки, которую вы никогда не знали, существовала
Разрешения на машине до машины представляют собой наиболее забытый вектор атаки в современной кибербезопасности, что делает экспоненциально более опасным агентами ИИ, которые могут использовать эти отношения на скорости машины.
Ваша аккаунт AWS имеет 127 лет. Ваша подписка на Azure управляет 83 директорами услуг. Google Cloud Platform отслеживает 156 различных областей разрешений в проектах вашей организации. Каждый из них представляет собой потенциальный путь для агента ИИ для доступа, изменения или эксфильтрата - и большинство разработчиков не могли сказать вам, что на самом деле делает половина из них.
Проблема проистекает из фундаментального недопонимания того, как облачные разрешения работают на практике по сравнению с теорией. При интеграции агентов искусственного интеллекта с такими услугами, как понятие, GitHub, Slack или Jira, разработчики обычно выбирают путь наименьшего сопротивления: предоставьте широкие разрешения, используйте конфигурации по умолчанию и предполагают, что все будет работать, как и предполагалось.
Это не так.
Исследование Google 2024 года о неправильной конфигурации IAM в рабочих процессах, поддерживаемых LLM, выявило отрезвляющую истину: 73% реализаций агента искусственного интеллекта используют чрезмерно допустимые полномочия по учебным действиям, и 61% организаций признают, что они не имеют видимости в том, что их автоматизированные системы фактически получают.
Это не просто статистика - они атакуют векторы, ожидающие эксплуатации.
Когда оперативная инъекция соответствует доступу к инфраструктуре
Традиционные оперативные атаки инъекций были неприятностями. Злоугодные входы могут заставить чат -боты говорить неуместные вещи или генерировать вредный контент, но ущерб был в значительной степени содержался в самом разговоре.
Агенты ИИ изменили все.
Теперь тщательно продуманная подсказка может обмануть автономную систему на вызов привилегированных конечных точек, изменение конфигураций инфраструктуры или протекание токенов доступа через законные каналы связи, такие как Slack или системы регистрации. Атака не похожа на взлом - это похоже на нормальное поведение системы.
Рассмотрим утечку данных Microsoft Copilot, которая в начале этого года отправила ударные волны через команды безопасности предприятий. Злоусовеченный пользователь внедрил конкретные инструкции в рамках, казалось бы, невинного запроса документа, в результате чего агент искусственного интеллекта сбрасывает конфиденциальную информацию о клиентах с помощью его обычного механизма ответа. Система работала точно так же, как разработано, что сделало невозможным обнаружение с помощью традиционного мониторинга безопасности.
Github Repo Crawlers, интегрированные с помощью Fopilot-подобными функциями, выявили тысячи ключей API, учетные данные базы данных и частные токены-не через атаки грубых сил или системные эксплуатации, но и посредством разговорных интерфейсов, которые казались совершенно законными как для пользователей, так и для автоматизированных систем безопасности.
Топ -10 OWASP LLM определил эту модель как критическую категорию угроз, но большинство организаций все еще защищаются от последней войны, в то время как их агенты по ИИ заработают следующую.
Катастрофа охвата OAuth
OAuth был разработан для людей, принимающих люди, принимающие преднамеренные контекстуальные решения о том, какие разрешения предоставлять приложениям. Агенты ИИ нарушают все предположения, лежащие в основе этой модели.
Когда человеческий предотвращение «Читать: сообщения» охватывает ослабленную интеграцию, они понимают последствия и могут отслеживать поведение. Когда агент ИИ получает такое же разрешение, он может интерпретировать эту область гораздо шире, чем предполагалось, - вкладывая архивные каналы, чтение частных прямых сообщений или корреляцию содержимого сообщений с внешними источниками данных таким образом, что нарушает политику конфиденциальности и соответствие нормативным требованиям.
Ползуб с прицелом является систематическим и тонким. Разрешение, предназначенное для «Читать: проблемы», часто дает доступ к частным метаданным хранилища. «Напишите: файлы» часто включает в себя возможность изменения конфигураций CI/CD. «Управление: пользователи» могут охватывать все, от сброса пароля до эскалации привилегий между несколькими подключенными системами.
2024 предоставил мастер -класс в том, как эти неправильные конфигурации становятся критическими уязвимостью. Многочисленные нарушения включали ключи API, используемые LLMS, которые были предоставлены чрезмерными разрешениями месяцами или годами ранее, никогда не вращались и полностью забыты командами разработчиков, которые их создали.
Недавняя консультация NIST по управлению учетными данными в области автоматизации читается как история ужасов: организации, обнаруживающие, что их «полезные» помощники искусственного интеллекта имели административный доступ к производственным базам данных, возможность изменять правила брандмауэра и разрешения на создание новых пользовательских учетных записей во всем их технологическом стеке.
DevOps Dystopia: когда агенты контролируют трубопровод
Интеграция агентов ИИ в трубопроводы CI/CD представляет собой либо вершину автоматизации разработки, либо самый опасный эксперимент по кибербезопасности в современной истории вычислительной техники. Возможно оба.
LLMS и RAG Systems теперь встроены непосредственно в рабочие процессы развертывания, с агентами, которые могут анализировать изменения кода, предлагают оптимизацию, автоматически объединять запросы на вытяжение и развертывать обновления в производственных средах - все без человеческого надзора.
Повышение эффективности неоспоримо. Циклы обзора кода, которые когда -то заняли несколько дней, теперь завершены за считанные минуты. Обновления инфраструктуры, которые требовали специализированных знаний, могут обрабатывать разговорные интерфейсы, которые может использовать любой член команды. Процессы развертывания, которые ранее требовали обширной ручной проверки, теперь работают автономно на основе инструкций естественного языка.
Последствия для безопасности являются катастрофическими.
Агент искусственного интеллекта с Push Privileges для репозиториев GIT и доступа к написанию файлов инфраструктуры как кода не просто автоматизация разработки-это создает поверхность атаки, которая охватывает весь ваш стек технологий. Единственная злонамеренная подсказка, встроенная в, казалось бы, невинный запрос функций, может изменить критические конфигурации безопасности, ввести бэкдоры в производственный код или эскалация привилегий в нескольких подключенных системах.
Как сказал мне один инженер Devsecops во время недавней конференции по безопасности: «Мы обнаружили агентов, которые могли бы автоматически получать PRS и развернуться в производстве на основе разговорных инструкций. Это не развитие, способствующее AI-это хаос с клавиатурой и административными привилегиями».
Радиус взрыва эксплуатированных эксплуатаций, управляемых агентом, простирается далеко за пределы традиционных нарушений безопасности. Когда люди делают ошибки, они обычно ограничены по объему и прослеживаются через журналы аудита. Когда агенты искусственного интеллекта делают ошибки или манипулируют их созданием, ущерб может распространяться по взаимосвязанным системам быстрее, чем команды реагирования на инциденты могут понять, что происходит.
Бомба времени общественного хранилища
GitHub стал непреднамеренным музеем неправильной конфигурации агента искусственного интеллекта, и нападавшие делают заметки.
Агенты ИИ все чаще настраиваются с помощью файлов YAML, переменных среды и документов конфигурации JSON, которые определяют их разрешения, конечные точки API и поведенческие параметры. Разработчики, стремящиеся поделиться своими инновационными рабочими процессами автоматизации, регулярно совершают эти файлы конфигурации в публичные репозитории, не осознавая, что они создают подробные чертежи для потенциальных атак.
Шаблон удручающе последователен:.agent.jsonфайлы, содержащие встроенные секреты,workflow.ymlконфигурации с жесткодированными клавишами API и.env.exampleФайлы, которые на самом деле являются конфигурациями производственной среды с незначительным запутыванием.
Анализ утечки учетных данных в 2024 году в средах, основанных на AI, показал, что конфигурации агента искусственного интеллекта представляют самую быстрорастущую категорию открытых секретов в общественных репозиториях. Это не просто артефакты разработки - они конфигурации производства для систем, которые имеют прямой доступ к критической бизнес -инфраструктуре.
Злоумышленникам не нужно разрабатывать сложные методы эксплуатации. Они могут просто искать GitHub для шаблонов конфигурации, идентифицировать организации, использующие конкретные фреймворки агента искусственного интеллекта и атаки целевых ремесел на основе общедоступной информации о системной архитектуре и структурах разрешений.
Демократизация развития ИИ с помощью общественных репозиториев и общих конфигураций создала беспрецедентную возможность сбора разведки для злонамеренных субъектов.
Ноль доверие к агентской реальности
Традиционные модели с нулевым доверием предполагают, что решения безопасности принимаются людьми, которые могут обеспечить контекст, проверять идентичность и делать нюансированные суждения о соответствующих уровнях доступа.
Агенты ИИ полностью разрушают эти предположения.
Каждый запрос от агента AI должен быть подтвержден не только для аутентификации, но и на уместность, контекст и потенциал для эксплуатации - даже когда запрос исходит от ваших собственных доверенных систем. Принцип наименьшей привилегии становится экспоненциально более сложным, когда «Пользователь» представляет собой распределенную систему ИИ, которая может законно нуждаться в административном доступе для некоторых задач, одновременно уязвимой для манипулирования через разговорные интерфейсы.
Прокси-прокси-серверы (IAP) и короткоживущие токены с широкими циклами представляют первое поколение решений, разработанных специально для аутентификации автономной системы. Эти инструменты могут оценивать не только то, кто делает запрос, но и какой тип системы делает его, почему выполняется запрос, и соответствуют ли запрошенные шаблоны доступа законные поведенческие профили.
Современные платформы управления учетными данными, такие как Hashicorp Vault, Doppler, Aserto и OSO, выходят за рамки традиционного секретного хранилища, включающего управление разрешениями AI-AWAR, которое может динамически корректировать уровни доступа на основе контекста, интеллекта угроз и поведенческого анализа.
Цель не предотвратить добычу агентов искусственного интеллекта, чтобы обеспечить принятие решений доступа с полной осведомленностью о рисках и с соответствующими гарантиями от манипуляций и эксплуатации.
Строительство защиты для возраста автономных систем
Защита инфраструктуры агента искусственного интеллекта требует фундаментального переосмысления практики кибербезопасности, выходящих за рамки моделей, ориентированных на человека, для решения уникальных проблем безопасности автономной системы.
Песочники с схемой AI-агента, внедренные через такие платформы, как Guardrails.ai и Reachuff, обеспечивают первую линию защиты, подтверждая и ограничивая поведение агента, прежде чем он сможет взаимодействовать с производственными системами. Эти инструменты могут обнаружить оперативные попытки впрыска, определить необычные паттерны доступа и предотвратить превышение своих предполагаемых операционных параметров.
Политики срока действия токена и вращения должны быть переработаны для систем, которые работают непрерывно и автономно. Традиционные графики ротации учетных данных, разработанные вокруг человеческих моделей работы, неадекватны для агентов искусственного интеллекта, которые могут потребоваться аутентифицировать тысячи раз в день в нескольких сервисах и часовых поясах.
Системы мониторинга должны развиваться за пределы традиционной аналитики поведения пользователей, чтобы включить специфические для AI паттерны, которые могут указывать на манипулирование или эксплуатацию. Соляная безопасность, отслеживаемая и неэмичная безопасность разрабатывают специализированные возможности мониторинга, которые могут коррелировать паттерны принятия решений искусственным интеллектом с журналами доступа API, чтобы определить аномальное поведение, которое может указывать на компромисс.
Секретные инструменты сканирования, такие как Gitguardian и GitLeaks, должны быть интегрированы в каждый этап конвейера разработки, с особым вниманием к файлам конфигурации агента AI и определениям рабочих процессов, которые могут непреднамеренно раскрывать критические учетные данные.
Возможно, наиболее важно, что упражнения Red Team должны включать сценарии атаки, специфичные для AI, которые проверяют не только технические уязвимости, но и потенциал социальной инженерии разговорных интерфейсов и каскадные эффекты эксплуатации, управляемой агентами.
Парадокс доверия автономного интеллекта
Вы доверяете своему агенту искусственного интеллекта, потому что он умный, эффективно и предназначен для того, чтобы помочь вам выполнить задачи, которые были бы сложными или трудоемкими для завершения вручную.
Но доверяете ли вы 38 различным API, который он призывает от вашего имени? Учетные услуги, которые он использует? Токены OAuth, которыми он управляет? Облачные ресурсы, к которым он доступен?
Неудобная правда заключается в том, что безопасность агента искусственного интеллекта на самом деле не о самих агентах - это обширная экосистема взаимосвязанных услуг, разрешений и полномочий, которые позволяют агентам быть полезными в первую очередь.
Каждая интеграция API представляет собой потенциальный вектор атаки. Каждая область OAuth - это разрешение, которое можно злоупотреблять. Каждая учетная запись сервиса - это путь к эскалации привилегий. Каждый учетный данные - это ключ, который может разблокировать гораздо больше, чем задумано.
Команды безопасности по-прежнему учатся думать за пределами традиционной защиты по периметру и пользовательского контроля доступа. Задача не только защищает от внешних угроз - это обеспечение того, чтобы системы, которые мы создали, чтобы упростить нашу работу, не становятся путями, по которым наши организации скомпрометированы.
В 2025 году самым слабым звеном в вашей системе ИИ не будет модельной архитектуры, учебных данных или методов выравнивания. Это будет забытое разрешение, которое оно тихо использует для открытия двери, которых вы даже не знали, существуют.
Автономная революция работает на доверии. Пришло время начать относиться к этому доверию со скептицизмом, которого он заслуживает.
Оригинал