Splunk призывает австралийские организации получать степени магистра права

Команда Splunk SURGe заверила австралийские организации, что защита больших языковых моделей ИИ от распространенных угроз, таких как атаки с мгновенным внедрением, может быть достигнута с использованием существующих инструментов безопасности. Однако уязвимости безопасности могут возникнуть, если организации не смогут реализовать основополагающие практики безопасности.

Шеннон Дэвис, главный стратег безопасности в Splunk SURGe из Мельбурна, рассказал TechRepublic, что Австралия демонстрирует рост осведомленности о безопасности в отношении LLM в последние месяцы. Он описал прошлый год как «Дикий Запад», где многие бросились экспериментировать с LLM, не уделяя первостепенного внимания безопасности.

Собственные исследования Splunk таких уязвимостей использовали в качестве основы «Top 10 for Large Language Models» проекта Open Worldwide Application Security Project. Исследовательская группа обнаружила, что организации могут снизить многие риски безопасности, используя существующие методы и инструменты кибербезопасности.

Основные риски безопасности, с которыми сталкиваются крупные языковые модели

В отчете OWASP исследовательская группа выделила три уязвимости, которые необходимо устранить в 2024 году.

Атаки с применением быстрых инъекций

OWASP определяет внедрение подсказок как уязвимость, которая возникает, когда злоумышленник манипулирует LLM с помощью специально созданных входных данных.

В мире уже были зафиксированы случаи, когда специально созданные подсказки заставляли LLM выдавать ошибочные результаты. В одном случае LLM убедили продать кому-то автомобиль всего за 1 доллар США, в то время как чат-бот Air Canada неправильно процитировал политику компании в отношении скорби.

Дэвис заявил, что хакеры и другие лица, «заставляющие инструменты LLM делать то, что им делать не положено», представляют собой ключевой риск для рынка.

«Крупные игроки устанавливают множество защитных ограждений вокруг своих инструментов, но все еще есть много способов заставить их делать то, чему эти ограждения пытаются помешать», — добавил он.

СМ.: Как защититься от OWASP 10 и выше

Утечка частной информации

Сотрудники могут вводить данные в инструменты, которые могут находиться в частной собственности, часто за рубежом, что приводит к утечке интеллектуальной собственности и частной информации.

Региональная технологическая компания Samsung столкнулась с одним из самых громких случаев утечки личной информации, когда инженеры были замечены за вставкой конфиденциальных данных в ChatGPT. Однако существует также риск того, что конфиденциальные и частные данные могут быть включены в наборы обучающих данных и потенциально могут быть утекли.

«Еще одной большой проблемой является то, что персональные данные либо включаются в обучающие наборы данных, а затем подвергаются утечке, либо люди даже могут отправлять персональные данные или конфиденциальные данные компании в эти различные инструменты, не понимая последствий таких действий», — подчеркнул Дэвис.

Чрезмерная зависимость от LLM

Чрезмерная зависимость возникает, когда человек или организация полагаются на информацию, полученную от LLM, даже если ее результаты могут быть ошибочными, ненадлежащими или небезопасными.

Недавно в Австралии произошел случай чрезмерной зависимости от LLM, когда сотрудник по защите детей использовал ChatGPT для составления отчета, представленного в суд в Виктории. Хотя добавление конфиденциальной информации было проблематичным, отчет, созданный ИИ, также преуменьшал риски, с которыми сталкивался ребенок, вовлеченный в дело.

Дэвис объяснил, что чрезмерная зависимость — это третий ключевой риск, который организациям следует иметь в виду.

«Это часть обучения пользователей, цель которой — дать им понять, что не следует безоговорочно доверять этим инструментам», — сказал он.

Дополнительные риски безопасности LLM, на которые следует обратить внимание

Другие риски из топ-10 OWASP могут не требовать немедленного внимания. Однако Дэвис сказал, что организации должны знать об этих потенциальных рисках — особенно в таких областях, как чрезмерный риск агентства, кража моделей и отравление обучающих данных.

Чрезмерное агентство

Избыточное агентство относится к вредоносным действиям, выполняемым в ответ на неожиданные или неоднозначные результаты LLM, независимо от того, что вызывает сбой в работе LLM. Это может быть результатом доступа внешних субъектов к инструментам LLM и взаимодействия с результатами модели через API.

«Я думаю, что люди консервативны, но я все еще беспокоюсь, что, учитывая потенциальную мощь этих инструментов, мы можем увидеть что-то, что заставит всех остальных осознать, что потенциально может произойти», — сказал Дэвис.

Кража модели LLM

Дэвис заявил, что исследования показывают, что модель можно украсть посредством вывода: отправляя в модель большое количество подсказок, получая различные ответы и впоследствии понимая компоненты модели.

«Кража моделей — это то, что я потенциально могу увидеть в будущем из-за огромной стоимости обучения моделей», — сказал Дэвис. «Было выпущено несколько статей о краже моделей, но это угроза, для доказательства которой потребуется много времени».

SEE: Расходы Австралии на ИТ в 2025 году вырастут в сфере кибербезопасности и искусственного интеллекта

Отравление обучающих данных

Предприятия теперь больше осознают, что данные, которые они используют для моделей ИИ, определяют качество модели. Кроме того, они также больше осознают, что преднамеренное отравление данных может повлиять на результаты. Дэвис сказал, что определенные файлы в моделях, называемые pickle funnels, если будут отравлены, приведут к непреднамеренным результатам для пользователей модели.

«Я думаю, людям просто нужно быть осторожнее с данными, которые они используют», — предупредил он. «Поэтому, если они найдут источник данных, набор данных для обучения своей модели, они должны знать, что данные хорошие и чистые и не содержат вещей, которые потенциально могут подвергнуть их риску плохих вещей».

Как бороться с распространенными рисками безопасности, с которыми сталкиваются магистры права

Исследовательская группа SURGe компании Splunk обнаружила, что вместо того, чтобы напрямую защищать LLM, самым простым способом защиты LLM с использованием существующего набора инструментов Splunk было сосредоточиться на интерфейсе модели.

Использование стандартного ведения журнала, аналогичного другим приложениям, может решить проблемы быстрого внедрения, небезопасной обработки выходных данных, отказа в обслуживании модели, раскрытия конфиденциальной информации и уязвимостей кражи модели.

«Мы обнаружили, что можем регистрировать запросы, которые пользователи вводят в LLM, а затем ответ, который выходит из LLM; только эти два бита данных в значительной степени дали нам пять из OWASP Top 10», — объяснил Дэвис. «Если разработчик LLM гарантирует, что эти запросы и ответы регистрируются, а Splunk предоставляет простой способ сбора этих данных, мы можем запустить любое количество наших запросов или обнаружений через это».

Дэвис рекомендует организациям использовать аналогичный подход, ориентированный на безопасность, для программ LLM и приложений ИИ, который использовался для защиты веб-приложений в прошлом.

«У нас есть поговорка, что употребление в пищу киберовощей — или выполнение основ — дает вам 99,99% вашей защиты», — отметил он. «И людям действительно следует сосредоточиться на этих областях в первую очередь. То же самое происходит и с LLM».