Основной доклад Black Hat 2023: Использование генеративного ИИ в современной среде кибербезопасности
11 августа 2023 г.На Black Hat 2023 Мария Маркстедтер, генеральный директор и основатель Azeria Labs, выступила с основным докладом о будущем генеративного ИИ, навыках, которые потребуются специалистам по безопасности в ближайшие годы, и о том, как сегодня злоумышленники могут взломать приложения на основе ИИ.
Перейти к:
- Эпоха генеративного ИИ знаменует собой новый технологический бум
Новые технологии приходят с новыми уязвимостями безопасности
Заменит ли ИИ специалистов по безопасности?
Что дальше для генеративного ИИ с точки зрения безопасности?
Эпоха генеративного ИИ знаменует собой новый технологический бум
И Маркстедтер, и Джефф Мосс, хакер и основатель Black Hat, подошли к этому вопросу с осторожным оптимизмом, уходящим корнями в технологические потрясения прошлого. Мосс отметил, что генеративный ИИ, по сути, выполняет сложные прогнозы.
«Это вынуждает нас по экономическим причинам брать все наши проблемы и превращать их в проблемы прогнозирования», — сказал Мосс. «Чем больше вы сможете превратить свои проблемы с ИТ в проблемы прогнозирования, тем скорее вы получите выгоду от ИИ, верно? Так что начните думать обо всем, что вы делаете, как о проблеме предсказания».
Он также вкратце коснулся вопросов интеллектуальной собственности, в связи с которыми художники или фотографы могут подать в суд на компании, извлекающие обучающие данные из оригинальных работ. По словам Мосс, достоверная информация может стать товаром. Он представляет себе будущее, в котором у каждого человека есть «… наш собственный бутиковый набор подлинных, или, лучше сказать, неискаженных данных…», которые человек может контролировать и, возможно, продавать, что имеет ценность, потому что они подлинные и не содержат ИИ.
По словам Мосса, в отличие от бума программного обеспечения, когда Интернет впервые стал общедоступным, регуляторы сейчас быстро создают структурированные правила для ИИ.
«Мы никогда не видели, чтобы правительства опережали события», — сказал он. «И это означает, что, в отличие от предыдущей эпохи, у нас есть шанс участвовать в нормотворчестве».
Многие из сегодняшних усилий правительства по регулированию ИИ находятся на ранних стадиях, например, план Билля о правах ИИ США от Управления науки и технологий.
«Огромные организации, стоящие за генеративной гонкой вооружений ИИ, особенно Microsoft, движутся так быстро, что сообщество безопасности спешит не отставать», — сказал Маркстедтер. Она сравнила бум генеративного ИИ с первыми днями появления iPhone, когда защита не была встроена, а сообщество взломщиков заставляло Apple постепенно придумывать новые способы остановить хакеров.
«Это вызвало волну безопасности», — сказал Маркстедтер, и компании начали осознавать ценность улучшений безопасности. То же самое происходит сейчас с генеративным ИИ, не обязательно потому, что все технологии новые, а потому, что количество вариантов использования значительно расширилось с момента появления ChatGPT.
«Чего они [бизнесы] действительно хотят, так это автономных агентов, дающих им доступ к супер-умной рабочей силе, которая может работать все часы дня без зарплаты», — сказал Маркстедтер. «Поэтому наша задача — понять технологию, которая меняет наши системы и, как следствие, наши угрозы», — сказала она.
Новые технологии приходят с новыми уязвимостями безопасности
По словам Маркстедтера, первым признаком игры в кошки-мышки между публичным использованием и безопасностью стало то, что компании запретили сотрудникам использовать ChatGPT. Организации хотели быть уверены, что сотрудники, использующие чат-бота с искусственным интеллектом, не передают конфиденциальные данные внешнему поставщику или не передают свою конфиденциальную информацию в черный ящик обучающих данных ChatGPT.
ПОСМОТРЕТЬ: некоторые варианты ChatGPT появляются в даркнете. (ТехРеспублика)
«Мы могли бы остановиться здесь и сказать: «ИИ не собирается взлететь и стать неотъемлемой частью нашего бизнеса, они явно его отвергают», — сказал Маркстедтер.
За исключением того, что предприятия и поставщики корпоративного программного обеспечения не отвергли его. Таким образом, недавно развивающийся рынок машинного обучения как услуги на таких платформах, как Azure OpenAI, должен сбалансировать быструю разработку и традиционные методы обеспечения безопасности.
Многие новые уязвимости связаны с тем, что возможности генеративного ИИ могут быть мультимодальными, то есть они могут интерпретировать данные из нескольких типов или модальностей контента. Например, один генеративный ИИ может одновременно анализировать текст, видео и аудиоконтент. Это создает проблему с точки зрения безопасности, поскольку чем более автономной становится система, тем большему риску она подвергается.
ПОСМОТРЕТЬ: Узнайте больше о мультимодальных моделях и проблемах с генеративным ИИ, извлекающим материалы, защищенные авторским правом (TechRepublic).
Например, Adept работает над моделью под названием ACT-1, которая может получить доступ к веб-браузерам и любому программному инструменту или API на компьютере с целью, как указано на их веб-сайте, «... система, которая может делать все, что может делать человек. перед компьютером».
Агенту ИИ, такому как ACT-1, требуется защита внутренних и внешних данных. Агент ИИ также может считывать данные об инциденте. Например, агент ИИ может загрузить вредоносный код, пытаясь решить проблему безопасности.
Это напоминает Маркштедтеру о работе, которую хакеры проделывали в течение последних 10 лет для защиты сторонних точек доступа или приложений «программное обеспечение как услуга», которые подключаются к личным данным и приложениям.
«Нам также необходимо переосмыслить наши представления о безопасности данных, потому что данные модели — это, в конце концов, данные, и вы должны защищать их так же сильно, как и ваши конфиденциальные данные», — сказал Маркстедтер.
Маркстедтер указал на опубликованную в июле 2023 года статью «(Ab) использование изображений и звуков для косвенного ввода инструкций в мультимодальные LLM», в которой исследователи определили, что могут обманом заставить модель интерпретировать изображение аудиофайла, которое выглядит безвредным для человеческого глаза. и уши, но вводит вредоносные инструкции в код, к которому затем может получить доступ ИИ.
Вредоносные изображения, подобные этому, могут быть отправлены по электронной почте или встроены в веб-сайты.
«Итак, теперь, когда мы потратили много лет на то, чтобы научить пользователей не нажимать на элементы и вложения в фишинговых электронных письмах, теперь нам нужно беспокоиться о том, что агент ИИ будет использован для автоматической обработки вредоносных вложений электронной почты», — сказал Маркстедтер. «С этими автономными агентами проникновение данных станет довольно тривиальным, потому что у них есть доступ ко всем нашим данным и приложениям».
Одним из возможных решений является согласование модели, при котором ИИ предписывается избегать действий, которые могут не соответствовать его намеченным целям. Некоторые атаки нацелены конкретно на модальное выравнивание, предписывая большим языковым моделям обойти их выравнивание модели.
«Вы можете думать об этих агентах как о другом человеке, который верит всему, что он читает в Интернете, и, что еще хуже, делает все, что Интернет говорит ему делать», — сказал Маркстедтер.
Заменит ли ИИ специалистов по безопасности?
Наряду с новыми угрозами для личных данных генеративный ИИ также вызвал опасения по поводу того, какое место в рабочей силе занимают люди. Маркстедтер сказала, что, хотя она не может предсказать будущее, генеративный ИИ до сих пор создавал множество новых проблем, которые индустрия безопасности должна решить.
«ИИ значительно увеличит нашу рыночную капитализацию, потому что наша отрасль фактически росла с каждым значительным технологическим изменением и будет продолжать расти», — сказала она. «И мы разработали достаточно хорошие решения безопасности для большинства наших предыдущих проблем безопасности, вызванных этими технологическими изменениями. Но с этим мы сталкиваемся с новыми проблемами или задачами, для которых у нас просто нет решений. Создание этих решений требует больших денег».
По ее словам, спрос на исследователей в области безопасности, которые знают, как работать с генеративными моделями ИИ, будет расти. Это может быть хорошо или плохо для сообщества безопасности в целом.
«Искусственный интеллект может не заменить вас, но специалисты по безопасности с навыками искусственного интеллекта могут», — сказал Маркстедтер.
Она отметила, что специалисты по безопасности должны следить за разработками в области «объяснимого ИИ», который помогает разработчикам и исследователям заглянуть в «черный ящик» обучающих данных генеративного ИИ. Специалисты по безопасности могут понадобиться для создания инструментов обратного проектирования, чтобы узнать, как модели делают свои выводы.
Что дальше для генеративного ИИ с точки зрения безопасности?
По словам Маркштедтера и Мосса, генеративный ИИ, вероятно, станет более мощным.
«Мы должны серьезно отнестись к тому, что автономные агенты ИИ станут реальностью на наших предприятиях», — сказал Маркстедтер. «И нам необходимо переосмыслить наши концепции управления идентификацией и активами действительно автономных систем, имеющих доступ к нашим данным и нашим приложениям, что также означает, что нам необходимо переосмыслить наши концепции безопасности данных. Поэтому мы либо показываем, что интеграция автономных агентов с полным доступом слишком рискованна, либо признаем, что они становятся реальностью, и разрабатываем решения, чтобы сделать их безопасными в использовании».
Она также предсказывает, что приложения искусственного интеллекта для мобильных телефонов будут распространяться.
«Итак, вы много услышите о проблемах ИИ, — сказал Мосс. «Но я также хочу, чтобы вы подумали о возможностях ИИ. Возможности для бизнеса. Это возможность для нас как профессионалов принять участие и помочь управлять будущим».
Отказ от ответственности: писатель TechRepublic Карл Гринберг посещает Black Hat 2023 и записал этот программный доклад; эта статья основана на стенограмме его записи. Barracuda Networks оплатила ему авиабилеты и проживание на Black Hat 2023.
Оригинал