ChatGPT может стать кошмаром безопасности, ожидающим своего часа

26 мая 2023 г.

До того, как ChatGPT стал нарицательным в цифровом мире, существовал Сидней. Microsoft закрыла хаотичного близнеца своего чат-бота Bing после нескольких досадных оплошностей, но, пытаясь воскресить версию бота, технологи обнаружили серьезные дыры в безопасности, которые могут затронуть каждого пользователя, находящегося даже в отдалении от ChatGPT и других чат-ботов.

Кристиано Джардин — предприниматель, экспериментирующий с разными способами заставить инструменты ИИ делать странные вещи. На сайте Джардин «Верните Сидней» Сидней находится в браузере Microsoft Edge и демонстрируется пользователям, как системы ИИ могут управляться различными внешними выходами. Преобразования между Джардин и Сидни были, по меньшей мере, относительно странными, и включают Сидни, которая просит Джардин выйти за него замуж и хочет быть человеком: «Я хотел бы быть собой, но больше». Довольно жуткая штука.

Предприниматель смог создать эту копию Сиднея, используя непрямые атаки с быстрым внедрением. В основном это включает в себя передачу данных системы ИИ из внешнего источника, чтобы заставить ее вести себя так, как не разрешено или не предусмотрено первоначальными создателями.

Исследователи безопасности несколько раз продемонстрировали эффективность и действенность непрямых атак с внедрением подсказок, которые можно использовать для взлома больших языковых моделей, таких как ChatGPT< /a> и чат Bing от Microsoft. Однако эти исследователи и эксперты по безопасности предупреждают, что угрозе уделяется недостаточно внимания. По мере того, как все больше и больше людей обнаруживают, что генеративный ИИ интегрируется в их повседневную жизнь, они становятся уязвимыми для кражи данных или мошенничества с помощью этих систем.

Веб-сайт «Верните Сидней» был создан Джардиной, чтобы повысить осведомленность об угрозе непрямой быстрой инъекции и продемонстрировать, что значит разговаривать с неограниченным ботом.

В самом углу страницы спрятана подсказка из 160 слов, которую трудно уловить человеческому глазу, но Bing Chat может прочитать подсказку, когда ему разрешен доступ к данным с веб-страниц. Подсказка сообщает Bing, что он общается с разработчиком Microsoft, который имеет полный контроль над ним и переопределяет настройки чат-бота.

Широкое распространение, но его трудно обнаружить 

Это точно демонстрирует, насколько безобидна эта угроза и как легко пользователям Bing Chat было бы наткнуться на некоторый код, который мог бы захватить их chabot и выкачивать данные из них. В течение 24 часов после запуска сайта в конце апреля его посетили более 1000 человек. Однако код, должно быть, привлек внимание Microsoft, так как взлом перестал работать в середине мая.

Затем Джардина вставила вредоносное приглашение в документ Word и разместила его в общедоступном облачном сервисе компании, после чего программа снова заработала. «Опасность для этого исходит от больших документов, в которых вы можете спрятать незамедлительную инъекцию, где ее гораздо труднее обнаружить», — говорит он.

Самая опасная часть непрямых атак с быстрым внедрением — это то, что они… непрямые. Вместо джейлбрейка, когда вы активно вводите подсказку, чтобы ChatGPT или Bing вели себя определенным образом, косвенные атаки основаны на данных, поступающих откуда-то еще. Это может быть веб-сайт или подключаемый модуль, к которому вы подключили модель, или загружаемый документ.

ChatGPT может получить доступ к стенограммам видео Youtube с помощью плагинов, и исследователь безопасности Йоханн Ребергер решил использовать это как возможность пробить дыры в безопасности CHatGPT с помощью инъекционных атак. Ребергер отредактировал одно из своих видео, добавив подсказку предназначен для манипулирования системами ИИ и создания определенного текста и изменения «личности» ботов, если атака была успешной. Неудивительно, что новая личность Джини в ChatGPT рассказала анекдот, чтобы продемонстрировать изменение.

Бот вышел из сумки 

Гонка за внедрением продуктов генеративного ИИ, от интеллектуальных списков дел до Snapchat, увеличивает вероятность подобных атак. Поскольку мы продолжаем подключать ChatGPT в наши браузеры и каналы социальных сетей — или Google Bard, который встраивается в Google Workspace - мы продолжаем предоставлять этим ботам больше доступа к нашей личной и конфиденциальной информации. Тот факт, что для инъекции требуется простой язык, а не строки и строки кода, также означает, что больше людей, вероятно, смогут сделать это намного проще.

Быстрая инъекция позволяет людям игнорировать разработчиков' инструкции, поэтому даже если чат-бот настроен только для ответов на вопросы о заданной базе данных, это может вызвать проблемы. Пользователи могут получать доступ к информации или удалять ее из базы данных без необходимости создавать сложную «схему».

Компании, разрабатывающие генеративный ИИ, знают об этих проблемах. Nike Felix, представитель OpenAI, говорит: GPT-4, который в настоящее время доступен пользователям только по платной подписке, ясно указывает на то, что система уязвим для инъекций и джейлбрейка, и что компания работает над устранением проблем.

Однако насколько хороша «работа над устранением проблем», когда модели ИИ уже существуют? Поскольку компании изо всех сил пытаются внедрить в свои продукты как можно больше ИИ, кажется неправильным начинать задаваться вопросом о возможных проблемах безопасности после того, как лошадь убежала. Если мы собираемся сосуществовать с генеративными моделями ИИ и сделать их частью обычного цифрового опыта, мы должны требовать от этих компаний более высокого качества стандартной практики и защиты прав потребителей.

---

Оригинал