Панель Black Hat USA 2023: при правильном использовании генеративный ИИ является благом для кибербезопасности
12 августа 2023 г.На стартовом мероприятии Black Hat в среду Джефф Мосс (также известный как Dark Tangent), основатель Black Hat, сосредоточился на последствиях искусственного интеллекта для безопасности, а затем представил главного докладчика, Марию Маркстедтер, генерального директора и основателя Azeria Labs. Мосс сказал, что изюминкой другого хакерского мероприятия «Города грехов» — DEF CON 31 — сразу после Black Hat является соревнование, спонсируемое Белым домом, в котором хакеры пытаются взломать лучшие модели ИИ… чтобы найти способы сохранить их безопасно.
Перейти к:
- Атакующие и защитники: как генеративный ИИ склонит чашу весов
ИИ и конвейер кода
Использование ИИ для обеспечения кибербезопасности для ИИ
Поможет или помешает ИИ развитию человеческих талантов и заполнению вакансий?
Означает ли меньшее количество базовых моделей ИИ более простые проблемы безопасности и регулирования?
Что означает прорыв, когда ИИ входит в предприятие
Генеративный ИИ как благо для работы и обучения кибербезопасности
Защита ИИ также была ключевой темой во время панели Black Hat днем ранее: Кибербезопасность в эпоху ИИ, организованной охранной фирмой Barracuda. На мероприятии были подробно рассмотрены несколько других актуальных тем, в том числе то, как генеративный ИИ меняет мир и киберландшафт, потенциальные преимущества и риски, связанные с демократизацией ИИ, как неумолимый темп развития ИИ повлияет на нашу способность ориентироваться и регулировать технологии, и как игроки в области безопасности могут развиваться с помощью генеративного ИИ в интересах защитников.
Одна вещь, с которой согласились все участники дискуссии, заключается в том, что ИИ является крупным технологическим прорывом, но также важно помнить, что ИИ имеет долгую историю, а не только последние шесть месяцев. «То, что мы сейчас испытываем, — это новый пользовательский интерфейс в большей степени, чем что-либо еще, — сказал Марк Райланд, директор офиса директора по информационной безопасности в AWS.
По словам доктора Амита Элазари, соучредителя и генерального директора OpenPolicy и профессора кибербезопасности Калифорнийского университета в Беркли, с точки зрения политики речь идет о понимании будущего рынка.
СМОТРЕТЬ: CrowdStrike в Black Hat: скорость, взаимодействие, изощренность субъектов угроз, которые растут в 2023 году (TechRepublic)
«Очень скоро вы увидите масштабный указ администрации [Байдена], столь же всеобъемлющий, как и указ о кибербезопасности», — сказал Элазари. «Это действительно приведет к тому, что мы предсказывали в политическом пространстве: сближение требований к риску и высокому риску, особенно между конфиденциальностью и безопасностью ИИ».
Она добавила, что управление рисками ИИ будет соответствовать требованиям безопасности конфиденциальности. «Это дает интересную возможность для компаний, занимающихся безопасностью, использовать целостную систему управления рисками, охватывающую эти области».
Атакующие и защитники: как генеративный ИИ изменит баланс
Хотя еще не принято решение о том, получат ли злоумышленники больше преимуществ от генеративного ИИ, чем защитники, повсеместная нехватка персонала по кибербезопасности дает ИИ возможность сократить этот разрыв и автоматизировать задачи, которые могут дать преимущество защитнику, отметил Майкл Дэниел, президент. и генеральный директор Cyber Threat Alliance и бывший кибер-царь администрации Обамы.
SEE: Разговорный ИИ стимулирует рост рынка контакт-центров на 16% (TechRepublic)
«У нас огромная нехватка персонала по кибербезопасности, — сказал Даниэль. «… В той степени, в которой вы можете использовать ИИ, чтобы сократить разрыв, автоматизируя больше задач. ИИ позволит легче сосредоточиться на работе, которая может дать преимущество», — добавил он.
ИИ и конвейер кода
Дэниел предположил, что из-за внедрения ИИ разработчики могут снизить количество ошибок в коде, которые можно использовать, настолько, что через 10 лет будет очень сложно найти уязвимости в компьютерном коде.
Элазари утверждал, что конвейер разработки генеративного ИИ — сам объем создаваемого кода — представляет собой новую поверхность атаки.
«Мы постоянно производим гораздо больше кода, и если мы не станем намного умнее с точки зрения того, как мы действительно продвигаем безопасные методы разработки жизненного цикла, ИИ просто будет дублировать текущие методы, которые неоптимальны. Вот где у нас есть возможность для экспертов удвоить усилия по разработке жизненного цикла», — сказала она.
Использование ИИ для обеспечения кибербезопасности для ИИ
Участники дискуссии также обсудили, как группы безопасности реализуют кибербезопасность для самого ИИ — как вы обеспечиваете безопасность для большой языковой модели?
Дэниел предположил, что мы не обязательно знаем, как распознать, например, является ли модель ИИ галлюцинацией, была ли она взломана или плохой вывод означает преднамеренную компрометацию. «На самом деле у нас нет инструментов, чтобы определить, не испортил ли кто-то обучающие данные. Поэтому там, где индустрии придется потратить время и силы на защиту самого ИИ, нам придется посмотреть, как это сработает», — сказал он.
Элазари сказал, что в условиях неопределенности, как в случае с ИИ, использование состязательного мышления будет иметь решающее значение, и будет необходимо использовать существующие концепции, такие как Red Teaming, Pen Testing и даже вознаграждение за обнаружение ошибок.
«Шесть лет назад я представлял себе будущее, в котором алгоритмические аудиторы будут участвовать в вознаграждении за обнаружение ошибок, чтобы найти проблемы с ИИ, точно так же, как мы делаем это в области безопасности, и здесь мы видим, как это происходит на DEF CON, поэтому я думаю, что это будет возможность масштабировать профессию ИИ, используя концепции и опыт в области безопасности», — сказал Элазари.
Поможет или помешает ИИ развитию человеческих талантов и заполнению вакансий?
Элазари также сказала, что ее беспокоит возможность того, что генеративный ИИ может убрать должности начального уровня в области кибербезопасности.
«Большая часть этой работы по написанию текстовых и языковых работ также была отправной точкой для аналитиков. Я немного обеспокоен тем, что с масштабированием и автоматизацией входа в генеративный ИИ даже несколько позиций уровня в киберпространстве будут удалены. Нам нужно сохранить эти позиции», — сказала она.
Патрик Кафлин, старший вице-президент по рынкам безопасности в Splunk, предложил рассматривать технологический прорыв, будь то ИИ или любая другая новая технология, как усилитель возможностей — новые технологии усиливают то, что люди могут делать.
«И это, как правило, симметрично: есть много преимуществ как для положительного, так и для отрицательного использования», — сказал он. «Наша задача — убедиться, что они хотя бы сбалансированы».
Означает ли меньшее количество базовых моделей ИИ более простые проблемы безопасности и регулирования?
Кофлин отметил, что затраты и усилия, необходимые для разработки базовых моделей, могут ограничить их распространение, что сделает безопасность менее сложной задачей. «Фундаментальные модели очень дороги в разработке, поэтому существует своего рода естественная концентрация и высокий барьер для входа», — сказал он. «Поэтому не многие компании будут инвестировать в них».
Он добавил, что, как следствие, многие компании будут размещать свои собственные обучающие данные поверх базовых моделей других людей, получая хорошие результаты, помещая небольшое количество пользовательских обучающих данных в общую модель.
«Это будет типичный вариант использования», — сказал Кафлин. «Это также означает, что будет легче иметь систему безопасности и нормативно-правовую базу, потому что не будет бесчисленных компаний с собственными базовыми моделями для регулирования».
Что означает прорыв, когда ИИ входит в предприятие
Участники дискуссии подробно рассмотрели сложность обсуждения ландшафта угроз из-за скорости, с которой развивается ИИ, учитывая, как ИИ нарушил план инноваций, на который ушли годы, а не недели и месяцы.
«Первый шаг — это… не сходить с ума», — сказал Кафлин. «Есть вещи из прошлого, которые мы можем использовать. Одна из проблем заключается в том, что мы должны признать, что лидеры корпоративной безопасности сейчас очень заинтересованы в выработке окончательных и детерминированных решений в невероятно быстро меняющемся инновационном ландшафте. Трудно говорить о ландшафте угроз из-за скорости, с которой развиваются технологии», — сказал он.
Он также заявил, что неизбежно, чтобы защитить системы ИИ от эксплуатации и неправильной настройки, нам потребуется, чтобы службы безопасности, ИТ и инженеры лучше работали вместе: нам нужно будет разрушить разрозненность. «По мере того, как системы искусственного интеллекта переходят в производство, поскольку они поддерживают все больше и больше приложений, ориентированных на клиентов, становится все более важным, чтобы мы разрушали разрозненные хранилища, чтобы обеспечить прозрачность, управление процессами и ясность для пакета C», — сказал Кофлин.
Райланд указал на три последствия внедрения ИИ на предприятиях с точки зрения специалиста по безопасности. Во-первых, обычно вводится новая область атаки и новая концепция критически важных активов, таких как наборы обучающих данных. Во-вторых, вводится новый способ потери и утечки данных, а также новые проблемы, связанные с конфиденциальностью.
«Таким образом, работодатели задаются вопросом, должны ли сотрудники вообще использовать ChatGPT», — сказал он, добавив, что третье изменение связано с регулированием и соблюдением. «Если мы отступим от шумихи, мы можем признать, что это может быть новым с точки зрения скорости, но уроки прошлых технологических инноваций по-прежнему очень актуальны».
Генеративный ИИ как благо для работы и обучения кибербезопасности
Когда участников дискуссии спросили о преимуществах генеративного ИИ и положительных результатах, которые он может дать, Флеминг Ши, технический директор Barracuda, сказал, что модели ИИ могут сделать своевременное обучение жизнеспособным с использованием генеративного ИИ.
«А с правильными подсказками и правильным типом данных, чтобы убедиться, что вы можете сделать его персонализированным, обучение может быть более простым и интерактивным», — сказал Ши, риторически спросив, нравится ли кому-нибудь обучение кибербезопасности. «Если вы сделаете его более представительным [используя большие языковые модели в качестве инструментов взаимодействия с естественным языком], люди, особенно дети, смогут извлечь из этого уроки. Когда люди придут на свою первую работу, они будут лучше подготовлены, готовы к работе», — добавил он.
Дэниел сказал, что он оптимистичен, «что может показаться странным в словах бывшего координатора по кибербезопасности США», — пошутил он. «Я не был известен как Синяя птица счастья. В целом, я думаю, что инструменты, о которых мы говорим, обладают огромным потенциалом, чтобы сделать практику кибербезопасности более приятной для многих людей. Это может устранить усталость от бдительности и на самом деле значительно облегчить людям возможность сосредоточиться на том, что действительно интересно».
Он сказал, что надеется, что эти инструменты могут сделать практику кибербезопасности более увлекательной дисциплиной. «Мы могли бы пойти по глупому пути и позволить ему заблокировать вход в область кибербезопасности, но если мы будем использовать его правильно — думая о нем как о «втором пилоте», а не как о замене — мы могли бы фактически расширить пул [людей, входящих в сферу кибербезопасности]. поле]», — добавил Даниэль.
Читать дальше: ChatGPT против Google Bard (2023): углубленное сравнение (TechRepublic)
Отказ от ответственности: Barracuda Networks оплатила мне авиабилеты и проживание на Black Hat 2023.
Оригинал