Белый дом рассматривает риски и преимущества ИИ, поскольку эксперты по безопасности выражают обеспокоенность по поводу злонамеренного использования

10 мая 2023 г.

Белый дом на прошлой неделе опубликовал заявление об использовании искусственного интеллекта, включая большие языковые модели, такие как ChatGPT.

В заявлении были затронуты опасения по поводу использования ИИ для распространения дезинформации, предубеждений и личных данных, а также было объявлено о встрече вице-президента Камалы Харрис с руководителями производителя ChatGPT OpenAI, принадлежащего Microsoft, и с руководителями Alphabet и Anthropic.

Но некоторые эксперты по безопасности видят злоумышленников, которые действуют без каких-либо этических запретов, используя инструменты искусственного интеллекта на многих фронтах, включая создание дипфейков на службе фишинга. Они беспокоятся, что защитники отстанут.

Перейти к:

Использование, неправильное использование и потенциальная чрезмерная зависимость от ИИ Распространенные уязвимости Для защиты ИИ эффективен, в пределах допустимого ИИ для защиты? Не без людей ИИ может играть в шахматы лучше, чем водить Tesla Противники плюс ИИ

Использование, неправильное использование и потенциальная чрезмерная зависимость от ИИ

Искусственный интеллект «станет для нас огромной проблемой», — сказал Дэн Шиаппа, директор по продуктам в компании по обеспечению безопасности Arctic Wolf.

«Хотя нам нужно убедиться, что законные организации не используют это незаконным образом, нелестная правда заключается в том, что плохие парни будут продолжать использовать его, и мы ничего не собираемся делать, чтобы их регулировать», — сказал он. .

Согласно охранной фирме Zscaler, отчет ThreatLabz о фишинге за 2023 год, инструменты ИИ частично ответственны за 50-процентное увеличение числа фишинговых атак в прошлом году по сравнению с 2021 годом. проще обманом заставить пользователей скомпрометировать их учетные данные безопасности.

ИИ на службе злоумышленников не новинка. Три года назад Картик Рамачандран, старший менеджер Deloitte по управлению рисками, написал в блоге, что хакеры использовали искусственный интеллект для создания новых киберугроз — например, троян Emotet, нацеленный на индустрию финансовых услуг. В своем посте он также утверждал, что израильские организации использовали его для подделки медицинских результатов.

Согласно отчету Meta, в этом году кампании вредоносных программ обратились к технологии генеративного ИИ. В отчете отмечается, что с марта аналитики Meta обнаружили «…около 10 семейств вредоносных программ, выдающих себя за ChatGPT и аналогичные инструменты для взлома учетных записей в Интернете».

По данным Meta, злоумышленники используют искусственный интеллект для создания вредоносных расширений для браузеров, доступных в официальных интернет-магазинах, которые утверждают, что предлагают инструменты, связанные с ChatGPT, некоторые из которых включают рабочие функции ChatGPT наряду с вредоносным ПО.

«Вероятно, это позволит избежать подозрений со стороны магазинов и пользователей», — поделилась Meta, которая также заявила, что обнаружила и заблокировала более 1000 уникальных вредоносных URL-адресов для совместного использования в приложениях Meta и сообщила о них коллегам по отрасли в службах обмена файлами.

Распространенные уязвимости

Хотя Шиаппа согласился с тем, что ИИ может использовать уязвимости с помощью вредоносного кода, он утверждал, что качество вывода, генерируемого LLM, по-прежнему оставляет желать лучшего.

«Вокруг ChatGPT много шумихи, но код, который он генерирует, откровенно говоря, не очень хорош», — сказал он.

Однако генеративные модели ИИ могут значительно ускорить процессы, сказал Шиаппа, добавив, что «невидимая» часть таких инструментов — те аспекты модели, которые не участвуют в естественном языковом интерфейсе с пользователем — на самом деле более рискованна с точки зрения состязательности и более опасна. мощная с точки зрения защиты.

В отчете Meta говорится, что оборонительные усилия отрасли вынуждают злоумышленников находить новые способы избежать обнаружения, в том числе распространяться на как можно больше платформ, чтобы защититься от принуждения какой-либо одной службой.

«Например, мы видели, как семейства вредоносных программ используют такие сервисы, как наш и LinkedIn, браузеры, такие как Chrome, Edge, Brave и Firefox, средства сокращения ссылок, сервисы для размещения файлов, такие как Dropbox и Mega, и многое другое. Когда их поймают, они смешивают больше сервисов, в том числе более мелкие, которые помогают им скрыть конечный пункт назначения ссылок», — говорится в отчете.

Для защиты ИИ эффективен, в пределах допустимого

Принимая во внимание возможности ИИ для защиты, Endor Labs недавно изучила модели ИИ, которые могут идентифицировать вредоносные пакеты, ориентируясь на исходный код и метаданные.

В сообщении в блоге в апреле 2023 года Хенрик Плейт, исследователь безопасности в Endor Labs, описал, как фирма смотрит на показатели эффективности защиты для ИИ. В качестве инструмента проверки GPT-3.5 правильно идентифицировал вредоносное ПО только в 36% случаев, правильно оценивая только 19 из 34 артефактов из девяти различных пакетов, содержащих вредоносное ПО.

Также из поста:

44% результатов оказались ложноположительными. Используя невинные имена функций, ИИ смог обманом заставить ChatGPT изменить оценку с вредоносной на безопасную. Версии ChatGPT 3.5 и 4 пришли к разным выводам.

ИИ для защиты? Не без людей

Плейт утверждает, что результаты показывают, что проверка вредоносных программ с помощью LLM с помощью GPT-3.5 еще не является жизнеспособной альтернативой проверке вручную, и что зависимость LLM от идентификаторов и комментариев может быть полезной для разработчиков, но злоумышленники также могут легко использовать их не по назначению для избежать обнаружения злонамеренного поведения.

«Но даже несмотря на то, что оценку на основе LLM не следует использовать вместо ручных проверок, их, безусловно, можно использовать в качестве дополнительного сигнала и исходных данных для ручных проверок. В частности, они могут быть полезны для автоматической проверки большего количества сигналов вредоносного ПО, создаваемых шумными детекторами (которые в противном случае могут быть полностью проигнорированы в случае ограниченных возможностей проверки)», — написал Плейт.

Он описал 1800 бинарных классификаций, выполненных с помощью GPT-3.5, которые включали ложноположительные и ложноотрицательные результаты, отметив, что классификации можно обмануть с помощью простых уловок.

«Предельные затраты на создание и выпуск вредоносного пакета близки к нулю», поскольку злоумышленники могут автоматизировать публикацию вредоносного программного обеспечения в PyPI, npm и других репозиториях пакетов, пояснил Плейт.

Endor Labs также рассматривала способы обмана GPT для получения неправильных оценок, которые они смогли сделать, используя простые методы, чтобы изменить оценку с вредоносной на безвредную, например, используя невинные имена функций, включая комментарии, указывающие на безвредную функциональность, или путем включения строковых литералов.

ИИ может играть в шахматы лучше, чем водить Tesla

Элия ​​Зайцев, технический директор CrowdStrike, сказал, что главной ахиллесовой пятой ИИ как части оборонительной позиции является то, что, как это ни парадоксально, он «знает» только то, что уже известно.

«ИИ предназначен для того, чтобы смотреть на вещи, которые произошли в прошлом, и экстраполировать то, что происходит в настоящем», — сказал он. Он предложил следующую аналогию из реального мира: «ИИ уже много лет сокрушает людей в шахматах и ​​других играх. Но где же беспилотный автомобиль?»

«Между этими двумя доменами есть большая разница», — сказал он.

«В играх есть набор ограниченных правил. Да, существует бесконечное количество комбинаций шахматных партий, но я могу двигать фигуры только ограниченным числом способов, поэтому ИИ отлично справляется с этими ограниченными проблемными пространствами. Чего ему не хватает, так это способности делать то, чего никогда раньше не было. Итак, генеративный ИИ говорит: «Вот вся информация, которую я видел раньше, и вот статистическая вероятность того, что они будут связаны друг с другом».

Зайцев объяснил, что автономная кибербезопасность, если она когда-либо будет достигнута, должна будет функционировать на еще не достигнутом уровне автономных автомобилей. Злоумышленник по определению пытается обойти правила, чтобы придумать новые атаки.

«Конечно, есть правила, но вдруг из ниоткуда машина едет не в ту сторону по улице с односторонним движением. Как вы это объясните?» — спросил он.

Противники плюс ИИ

По словам Зайцева, злоумышленники мало что теряют от универсального использования ИИ, потому что они могут извлечь выгоду из сочетания человеческого творчества и беспощадной работы ИИ в режиме 24/7 с машинной скоростью.

«Поэтому в CrowdStrike мы сосредоточены на трех основных столпах безопасности: конечной точке, анализе угроз и управляемом поиске угроз. Мы знаем, что нам нужна постоянная видимость того, как развивается техника противника», — добавил он.

---

Оригинал