Google предлагает вознаграждение за устранение уязвимостей системы безопасности генеративного искусственного интеллекта
1 ноября 2023 г.Google расширил свою программу вознаграждений за уязвимости, включив в нее ошибки и уязвимости, которые можно найти в генеративном искусственном интеллекте. В частности, Google ищет охотников за ошибками для своего собственного генеративного искусственного интеллекта, таких продуктов, как Google Bard, который доступен во многих странах, или AI для контакт-центра Google Cloud, Agent Assist.
«Мы считаем, что это будет стимулировать исследования в области безопасности и защиты ИИ и выявит потенциальные проблемы, которые в конечном итоге сделают ИИ более безопасным для всех», — вице-президент Google по доверию и безопасности Лори Ричардсон и вице-президент по вопросам конфиденциальности, безопасности и защиты Ройал Хансен. написал в своем блоге от 26 октября. «Мы также расширяем нашу работу по обеспечению безопасности с открытым исходным кодом, чтобы сделать информацию о безопасности цепочки поставок ИИ общедоступной и поддающейся проверке».
Перейти к:
- Программа вознаграждения за ошибки Google
Другие награды за ошибки и распространенные типы атак в генеративном ИИ
Как изучить генеративный ИИ
Программа вознаграждения за ошибки Google: ограничения и вознаграждения
Существуют ограничения на то, что считать уязвимостью в генеративном ИИ; Полный список уязвимостей, которые Google рассматривает в рамках Программы вознаграждений за уязвимости, можно найти в этом блоге Google по безопасности.
Генеративный ИИ несет в себе риски, которых нет у традиционных вычислений; эти риски включают несправедливую предвзятость, манипулирование моделями и неправильную интерпретацию данных, пишут Ричардсон и Хансен. Примечательно, что «галлюцинации» ИИ — дезинформация, генерируемая в ходе приватного сеанса просмотра — не считаются уязвимостями для целей Программы вознаграждений за уязвимости. Атаки, которые раскрывают конфиденциальную информацию, изменяют состояние учетной записи пользователя Google без его согласия или предоставляют бэкдоры в генеративную модель искусственного интеллекта, входят в сферу действия.
В конечном счете, любой, кто участвует в вознаграждении за обнаружение ошибок, должен доказать, что обнаруженная им уязвимость может «представить убедительный сценарий атаки или возможный путь к причинению вреда Google или пользователю», согласно блогу безопасности Google.
Возможные награды Google AI за обнаружение ошибок
Вознаграждения по программе вознаграждений за уязвимости варьируются от 100 до 31 337 долларов США в зависимости от типа уязвимости. Подробную информацию о вознаграждениях и выплатах можно найти на сайте Google Bug Hunters.
Другие награды за ошибки и распространенные типы атак в генеративном ИИ
OpenAI, Microsoft и другие организации предлагают вознаграждение за обнаружение ошибок хакерам, которые находят уязвимости в генеративных системах искусственного интеллекта. Microsoft предлагает от 2000 до 15 000 долларов за выявленные ошибки. Программа OpenAI по вознаграждению за ошибки предоставит от 200 до 20 000 долларов.
SEE: Исследователи IBM X-Force обнаружили, что фишинговые электронные письма, написанные людьми, получают несколько больше кликов, чем письма, написанные ChatGPT. (Техреспублик)
В отчете от 26 октября HackerOne и OWASP обнаружили, что наиболее распространенной уязвимостью в генеративном ИИ является внедрение подсказок (т. е. использование подсказок, заставляющих модель ИИ делать что-то, для чего она не предназначена), за которой следует небезопасная обработка вывода (т. Вывод LLM принимается без проверки) и манипуляций с обучающими данными.
Как научиться использовать генеративный ИИ
Разработчики и исследователи в области безопасности, только начинающие использовать генеративный ИИ, имеют множество вариантов обучения его использованию: от экспериментирования с бесплатными приложениями, такими как ChatGPT, до прохождения профессиональных курсов. DeepLearning.AI предлагает курсы как для начинающих, так и для продвинутых уровней для профессионалов, которые хотят научиться использовать и разрабатывать искусственный интеллект и машинное обучение.
Оригинал