• Исследователи обнаружили невостребованные ссылки на llms.txt в 120 доменах, которыми могут воспользоваться киберпреступники.
  • Агенты ИИ могут устанавливать вредоносное ПО, если выполняют галлюцинированные или устаревшие команды документации.
  • Исправления: очистить документацию и запретить агентам ИИ рассматривать документы как исполняемые инструкции.

Киберпреступники теперь могут злоупотреблять галлюцинированной, устаревшей и совершенно неверной документацией веб-сайтов, чтобы доставлять вредоносное ПО ничего не подозревающим жертвам с помощью агентов искусственного интеллекта, как показало новое исследование.

Все большее число веб-сайтов теперь содержат два документа: llms.txt и llms-full.txt. Это соглашения, которые позволяют агентам ИИ правильно читать содержимое веб-сайтов. Если агент ИИ хочет установить программное обеспечение или добавить код в проект, он может искать эти документы в Интернете, пока не найдет подходящее решение.

Исследователь Алон Герц проанализировал 6214 действующих доменов, принадлежащих оборонным подрядчикам, организациям из списка Fortune 500, а также крупным технологическим компаниям. В этих доменах он обнаружил 8265 таких файлов .txt, среди них 120 (все на другом сайте), указывающих на один или несколько пакетов кода и доменные имена, которые вообще не были зарегистрированы.

Заявка на пакеты и домены

Причин, по которым они не зарегистрированы, может быть множество. Это может быть связано с человеческой ошибкой, переименованием или отказом от пакетов, ошибками копирования/вставки или галлюцинацией документации.

Теперь, в целях эксперимента, компания Hertz зарегистрировала некоторые из этих невостребованных имен и размещенных пакетов, которые будут звонить домой после установки. Компании из списка Fortune 500 потребовалось меньше часа, чтобы начать пинговать, и вскоре их число выросло до «еще нескольких десятков».

Это означает, что если исследователи могут это сделать, то и киберпреступники смогут. Теоретически киберпреступник может найти эти невостребованные пакеты и зарегистрировать вредоносное ПО. Если ИИ-агент имеет разрешение на выполнение команд оболочки/менеджера пакетов и наткнется на эту документацию, он может в конечном итоге заразить устройство.

Клод, Codex OpenAI и Hermes от Nous Research были «виновны», заявили исследователи.

Чтобы устранить уязвимость, необходимо сделать две вещи. Во-первых, компаниям необходимо очистить свою документацию и убедиться, что она не указывает на несуществующий или вредоносный контент. Во-вторых, агентам ИИ необходимо перестать рассматривать документацию как исполняемые инструкции. Поскольку последнее, скорее всего, не произойдет в ближайшее время, непосредственный ответ, вероятно, будет заключаться в первом. Между тем, организации, использующие ИИ для кодирования, должны учитывать риски при предоставлении агентам ИИ разрешения на выполнение команд.

Через Ars Technica