HackerOne: как искусственный интеллект меняет киберугрозы и этичный взлом

29 июля 2023 г.

HackerOne, платформа безопасности и форум хакерского сообщества, провела в четверг, 27 июля, круглый стол о том, как генеративный искусственный интеллект изменит практику кибербезопасности. Хакеры и отраслевые эксперты обсудили роль генеративного ИИ в различных аспектах кибербезопасности, в том числе о новых возможностях для атак и о том, что следует учитывать организациям, когда речь идет о больших языковых моделях.

Перейти к:

Генеративный ИИ может создавать риски, если организации внедрят его слишком быстро Как злоумышленники используют преимущества генеративного ИИ Дипфейки, пользовательские крипторы и другие угрозы «Ничто из того, что выходит из модели GPT, не является новым» Как компании могут защитить генеративный ИИ

Генеративный ИИ может создавать риски, если организации внедрят его слишком быстро

Организации, использующие генеративный ИИ, такой как ChatGPT, для написания кода, должны быть осторожны, чтобы не создать в спешке уязвимости, — сказал Джозеф «rez0» Такер, профессиональный хакер и старший инженер по наступательной безопасности в компании AppOmni, предоставляющей программное обеспечение как услугу. .

Например, у ChatGPT нет контекста, чтобы понять, как могут возникнуть уязвимости в создаваемом им коде. По словам Такера, организациям следует надеяться, что ChatGPT будет знать, как создавать SQL-запросы, которые не уязвимы для SQL-инъекций. Злоумышленники, имеющие доступ к учетным записям пользователей или данным, хранящимся в разных частях организации, часто вызывают уязвимости, которые часто ищут тестеры на проникновение, и ChatGPT может не учитывать их в своем коде.

Два основных риска для компаний, которые могут поторопиться с использованием продуктов генеративного ИИ:

Предоставление доступа к LLM любым способом внешним пользователям, имеющим доступ к внутренним данным. Подключение различных инструментов и плагинов с функцией ИИ, которая может получить доступ к ненадежным данным, даже если они внутренние.

Как злоумышленники используют преимущества генеративного ИИ

«Мы должны помнить, что такие системы, как модели GPT, не создают новых вещей — они переориентируют то, что уже существует… то, на чем оно уже обучено», — сказал Клондайк. «Я думаю, что мы увидим, что люди, которые не очень технически квалифицированы, смогут иметь доступ к своим собственным моделям GPT, которые могут научить их коду или помочь им создать уже существующую программу-вымогатель».

Быстрая инъекция

Все, что просматривает Интернет — как это может делать LLM — может создать такую ​​​​проблему.

Одним из возможных способов кибератаки на чат-ботов на основе LLM является быстрая инъекция; он использует функции подсказок, запрограммированные для вызова LLM для выполнения определенных действий.

Например, сказал Такер, если злоумышленник использует быструю инъекцию, чтобы взять под контроль контекст для вызова функции LLM, он может извлечь данные, вызвав функцию веб-браузера и переместив полученные данные на сторону злоумышленника. Или злоумышленник может отправить по электронной почте полезную нагрузку с быстрой инъекцией LLM, которому поручено читать электронные письма и отвечать на них.

ПОСМОТРЕТЬ: Как генеративный ИИ меняет правила игры для облачной безопасности (TechRepublic)

Рони «Люпин» Карта, этичный хакер, отметил, что разработчики, использующие ChatGPT для установки пакетов подсказок на свои компьютеры, могут столкнуться с проблемами, когда просят генеративный ИИ найти библиотеки. ChatGPT галлюцинирует имена библиотек, которыми злоумышленники могут воспользоваться, реконструируя поддельные библиотеки.

Злоумышленники также могут вставлять вредоносный текст в изображения. Затем, когда интерпретирующий изображение ИИ, такой как Бард, сканирует изображение, текст будет развернут в виде подсказки и даст указание ИИ выполнить определенные функции. По сути, злоумышленники могут выполнять быструю инъекцию через образ.

Дипфейки, пользовательские крипторы и другие угрозы

Карта отметила, что барьер для злоумышленников, которые хотят использовать социальную инженерию или дипфейк аудио и видео, был снижен, и эти технологии также можно использовать для защиты.

«Это удивительно для киберпреступников, а также для красных команд, которые используют социальную инженерию для выполнения своей работы», — сказал Карта.

С точки зрения технической проблемы, Клондайк указал, что способ построения LLM затрудняет удаление информации, позволяющей установить личность, из их баз данных. Он сказал, что внутренние LLM по-прежнему могут показывать данные о сотрудниках или субъектах угроз или выполнять функции, которые должны быть конфиденциальными. Это не требует сложной оперативной инъекции; это может просто включать в себя задавание правильных вопросов.

«Мы увидим совершенно новые продукты, но я также думаю, что ландшафт угроз будет иметь те же уязвимости, которые мы всегда видели, но в большем количестве», — сказал Такер.

По словам Гэвина Клондайка, старшего консультанта по кибербезопасности в сообществе хакеров и специалистов по данным AI Village, команды по кибербезопасности, вероятно, столкнутся с большим объемом низкоуровневых атак, поскольку злоумышленники-любители используют такие системы, как модели GPT, для запуска атак. По его словам, киберпреступники старшего уровня смогут создавать собственные крипторы — программное обеспечение, которое скрывает вредоносное ПО — и ​​вредоносное ПО с генеративным искусственным интеллектом.

«Ничто из того, что выходит из модели GPT, не является новым»

На панели были некоторые дебаты о том, поднимает ли генеративный ИИ те же вопросы, что и любой другой инструмент, или ставит новые.

«Я думаю, нам нужно помнить, что ChatGPT обучен таким вещам, как переполнение стека», — сказала Кэти Пэкстон-Фир, преподаватель кибербезопасности в Манчестерском столичном университете и исследователь безопасности. «В модели GPT нет ничего нового. Вы можете найти всю эту информацию уже с помощью Google.

«Я думаю, что мы должны быть очень осторожны, когда ведем эти дискуссии о хорошем и плохом ИИ, чтобы не криминализировать подлинное образование».

Carta сравнила генеративный ИИ с ножом; Как и нож, генеративный ИИ может быть оружием или инструментом для нарезки стейка.

«Все сводится не к тому, что может сделать ИИ, а к тому, что может сделать человек», — сказал Карта.

ПОСМОТРЕТЬ: Как лезвие кибербезопасности, ChatGPT может работать в обоих направлениях (TechRepublic)

Такер выступил против этой метафоры, заявив, что генеративный ИИ нельзя сравнивать с ножом, потому что это первый инструмент, который человечество когда-либо имело, который может «... создавать новые, совершенно уникальные идеи благодаря своему обширному опыту в предметной области».

Или ИИ может оказаться смесью интеллектуального инструмента и творческого консультанта. Клондайк предсказал, что, хотя субъекты угроз низкого уровня больше всего выиграют от ИИ, упрощающего написание вредоносного кода, люди, которые больше всего выиграют от профессионалов в области кибербезопасности, будут на высшем уровне. Они уже знают, как создавать код и писать свои собственные рабочие процессы, и они будут просить ИИ помочь с другими задачами.

Как компании могут защитить генеративный ИИ

Модель угроз, которую Клондайк и его команда создали в AI Village, рекомендует поставщикам программного обеспечения думать о LLM как о пользователе и создавать барьеры вокруг того, к каким данным у него есть доступ.

Относитесь к ИИ как к конечному пользователю

По его словам, моделирование угроз имеет решающее значение, когда речь идет о работе с LLM. Также важно перехватывать удаленное выполнение кода, например недавнюю проблему, в которой злоумышленник, нацеленный на инструмент разработчика на базе LLM LangChain, может передать код непосредственно в интерпретатор кода Python.

«Что нам нужно сделать, так это обеспечить авторизацию между конечным пользователем и серверным ресурсом, к которому он пытается получить доступ», — сказал Клондайк.

Не забывайте основы

По словам участников дискуссии, некоторые советы для компаний, которые хотят безопасно использовать LLM, будут звучать как любые другие советы. Мишель Принс, соучредитель HackerOne и руководитель отдела профессиональных услуг, отметил, что, когда дело доходит до LLM, организации, похоже, забыли стандартный урок безопасности «рассматривать ввод данных пользователем как опасный».

«Мы почти забыли последние 30 лет уроков кибербезопасности при разработке некоторых из этих программ», — сказал Клондайк.

Пакстон-Фир рассматривает тот факт, что генеративный ИИ является относительно новым, как шанс обеспечить безопасность с самого начала.

«Это отличная возможность сделать шаг назад и внедрить некоторую безопасность, поскольку она развивается, а не зацикливается на безопасности 10 лет спустя».

---

Оригинал