HackerOne: Почти половина специалистов по безопасности считают, что ИИ опасен

Недавний опрос 500 специалистов по безопасности, проведенный HackerOne, исследовательской платформой по безопасности, показал, что 48% считают, что ИИ представляет собой наиболее существенный риск безопасности для их организации. Среди их самых больших опасений, связанных с ИИ, можно назвать следующие:

Утечка данных обучения (35%). Несанкционированное использование (33%). Взлом моделей ИИ посторонними лицами (32%).

Эти опасения подчеркивают острую необходимость для компаний пересмотреть свои стратегии безопасности ИИ, прежде чем уязвимости станут реальными угрозами.

ИИ имеет тенденцию выдавать ложные срабатывания для служб безопасности

Хотя полный отчет Hacker Powered Security Report будет доступен только осенью, дальнейшее исследование, проведенное при поддержке HackerOne и проведенное институтом SANS, показало, что 58% специалистов по безопасности считают, что службы безопасности и субъекты угроз могут оказаться в «гонке вооружений» за использование тактик и методов генеративного ИИ в своей работе.

Специалисты по безопасности в опросе SANS заявили, что добились успеха, используя ИИ для автоматизации утомительных задач (71%). Однако те же участники признали, что субъекты угроз могут использовать ИИ, чтобы сделать свои операции более эффективными. В частности, респонденты «больше всего были обеспокоены фишинговыми кампаниями с использованием ИИ (79%) и автоматизированной эксплуатацией уязвимостей (74%)».

SEE: Руководители служб безопасности разочарованы кодом, созданным с помощью ИИ.

«Отделы безопасности должны найти наилучшие способы применения ИИ, чтобы не отставать от противников, учитывая при этом его существующие ограничения, иначе они рискуют создать себе больше работы», — заявил в пресс-релизе Мэтт Бромили, аналитик Института SANS.

Решение? Внедрения ИИ должны проходить внешнюю проверку. Более двух третей опрошенных (68%) выбрали «внешнюю проверку» как наиболее эффективный способ выявления проблем безопасности и защиты ИИ.

«Команды теперь более реалистичны в отношении текущих ограничений ИИ», чем в прошлом году, сказал старший архитектор решений HackerOne Дейн Шерретс в электронном письме TechRepublic. «Люди привносят много важного контекста как в оборонительную, так и в наступательную безопасность, которую ИИ пока не может воспроизвести. Такие проблемы, как галлюцинации, также заставили команды не решаться внедрять технологию в критически важных системах. Тем не менее, ИИ по-прежнему отлично подходит для повышения производительности и выполнения задач, не требующих глубокого контекста».

Дополнительные результаты исследования SANS 2024 AI Survey, опубликованного в этом месяце, включают:

38% планируют внедрить ИИ в свою стратегию безопасности в будущем. 38,6% респондентов заявили, что столкнулись с недостатками при использовании ИИ для обнаружения или реагирования на киберугрозы. 40% называют правовые и этические последствия проблемой для внедрения ИИ. 41,8% компаний столкнулись с сопротивлением со стороны сотрудников, которые не доверяют решениям ИИ, что, по мнению SANS, «из-за отсутствия прозрачности». 43% организаций в настоящее время используют ИИ в своей стратегии безопасности. Технология ИИ в операциях по обеспечению безопасности чаще всего используется в системах обнаружения аномалий (56,9%), обнаружения вредоносных программ (50,5%) и автоматизированного реагирования на инциденты (48,9%). 58% респондентов заявили, что системы ИИ испытывают трудности с обнаружением новых угроз или реагированием на выбросы, что SANS связывает с отсутствием обучающих данных. Из тех, кто сообщил о недостатках использования ИИ для обнаружения или реагирования на киберугрозы, 71% заявили, что ИИ выдает ложные срабатывания.

Anthropic ищет мнения исследователей безопасности по мерам безопасности ИИ

В августе производитель решений для искусственного интеллекта Anthropic расширил свою программу вознаграждений за обнаруженные ошибки на HackerOne.

В частности, Anthropic хочет, чтобы сообщество хакеров провело стресс-тест «мер по смягчению последствий, которые мы используем для предотвращения нецелевого использования наших моделей», включая попытки прорваться через ограждения, призванные помешать ИИ предоставлять рецепты взрывчатых веществ или кибератак. Anthropic заявляет, что наградит до 15 000 долларов тех, кто успешно обнаружит новые атаки джейлбрейка, и предоставит исследователям безопасности HackerOne ранний доступ к своей следующей системе смягчения последствий.