Разработчики будьте осторожны: Slopsquatting & Vibe Coding может увеличить риск атак с AI на основе AI

Исследователи и разработчики безопасности поднимают тревогу по поводу «слопов», новой формы атаки цепочки поставок, которая использует дезинформацию, генерируемую AI, обычно известную как галлюцинации. Поскольку разработчики все чаще полагаются на инструменты кодирования, такие как Github Copilot, CHATGPT и DeepSeek, злоумышленники используют тенденцию ИИ к изобретению программных пакетов, обманывая пользователей в загрузка вредоносного контента.

Что такое Слопкваттинг?

Термин Slopsquatting был первоначально придуман Сет Ларсоном, разработчиком Fython Software Foundation, а затем популяризировал исследователь технической безопасности Эндрю Несбитт. Это относится к случаям, когда злоумышленники регистрируют программные пакеты, которые на самом деле не существуют, но ошибочно предложены инструментами ИИ; После жизни эти фальшивые пакеты могут содержать вредный код.

Если разработчик устанавливает один из них, не проверяя его - просто доверяя ИИ - он может неосознанно ввести вредоносный код в свой проект, предоставляя хакерам доступ к конфиденциальным средам.

В отличие от опечатки, где злонамеренные актеры рассчитывают на человеческие ошибки орфографии, Slopsquatting полностью зависит от недостатков ИИ, а разработчики не доверяют автоматизированным предложениям.

AI-галлуцинированные программные пакеты растут

Эта проблема больше, чем теоретическая. Недавнее совместное исследование исследователей из Техасского университета в Сан-Антонио, Вирджиния Технологии и Университета Оклахомы проанализировало более 576 000 образцов кода, созданных AI из 16 крупных языковых моделей (LLMS). Они обнаружили, что почти 1 из 5 пакетов, предложенных ИИ, не было.

«Средний процент галлюцинированных пакетов составляет не менее 5,2% для коммерческих моделей и 21,7% для моделей с открытым исходным кодом, в том числе ошеломляющие 205 474 уникальных примеров галлюцинированных имен пакетов, что еще больше подчеркивает тяжесть и распространенность этой угрозы»,-показало исследование.

Еще более касающиеся, эти галлюцинированные имена не были случайными. В нескольких пробегах с использованием одних и тех же подсказок 43% галлюцинированных пакетов постоянно появляются, показывая, насколько предсказуемыми могут быть эти галлюцинации. Как объясняется Spect Firm Socket, эта согласованность дает злоумышленникам дорожную карту - они могут отслеживать поведение ИИ, определять повторяющиеся предложения и зарегистрировать эти имена пакетов, прежде чем кто -либо другой.

В исследовании также отмечалось различия между моделями: Коделлама 7B и 34B имели самые высокие показатели галлюцинации более 30%; GPT-4 Turbo имела самый низкий уровень на уровне 3,59%.

Как кодирование Vibe может увеличить этот риск безопасности

Растущая тенденция под названием «Кодирование Vibe», термин, придуманный исследователем ИИ Андреем Карпати, может ухудшить эту проблему. Это относится к рабочему процессу, где разработчики описывают то, что они хотят, и инструменты ИИ генерируют код. Этот подход в значительной степени опирается на доверие-разработчики часто копируют и вставляют вывод AI без двойной проверки всего.

В этой среде галлюцинированные пакеты становятся легкими точками входа для злоумышленников, особенно когда разработчики пропускают ручные шаги обзора и полагаются исключительно на предложения, созданные AI.

Как разработчики могут защитить себя

Чтобы избежать падения жертвы до слов, эксперты рекомендуют:

Вручную проверку всех имен пакетов перед установкой. Использование инструментов безопасности пакетов, которые сканируют зависимости для рисков. Проверка подозрительных или совершенно новых библиотек. Избегание команд установки копирования непосредственно из предложений искусственного интеллекта.

Между тем, есть хорошие новости: некоторые модели искусственного интеллекта улучшаются в самополичии. Например, GPT-4 Turbo и Deepseek показали, что они могут обнаружить и помечать галлюцинированные пакеты в своем собственном выходе с более чем 75% точностью, согласно ранним внутренним тестам.