Представители властей Великобритании, США и ЕС собрались в Сан-Франциско, чтобы обсудить безопасность ИИ

На этой неделе представители властей Великобритании, ЕС, США и семи других стран собрались в Сан-Франциско, чтобы запустить «Международную сеть институтов безопасности ИИ».

На встрече, которая прошла в клубе Presidio Golden Gate, обсуждались вопросы управления рисками контента, создаваемого ИИ, тестирования базовых моделей и проведения оценок рисков для передовых систем ИИ. Институты безопасности ИИ из Австралии, Канады, Франции, Японии, Кении, Республики Корея и Сингапура также официально присоединились к Сети.

В дополнение к подписанию заявления о миссии, более 11 миллионов долларов было выделено на финансирование исследований контента, созданного ИИ, а также были рассмотрены результаты первого совместного испытания безопасности Сети. Среди участников были должностные лица регулирующих органов, разработчики ИИ, ученые и лидеры гражданского общества, чтобы помочь в обсуждении возникающих проблем ИИ и потенциальных мер безопасности.

Созыв был основан на прогрессе, достигнутом на предыдущем саммите по безопасности искусственного интеллекта в мае, который состоялся в Сеуле. 10 стран согласились содействовать «международному сотрудничеству и диалогу по искусственному интеллекту перед лицом его беспрецедентных достижений и влияния на наши экономики и общества».

«Международная сеть институтов безопасности ИИ будет служить форумом для сотрудничества, объединяя технические знания для решения проблем безопасности ИИ и передовой практики», — говорится в заявлении Европейской комиссии. «Признавая важность культурного и языкового разнообразия, сеть будет работать над единым пониманием рисков безопасности ИИ и стратегий их смягчения».

Институты безопасности ИИ-участников должны будут продемонстрировать свой прогресс в тестировании и оценке безопасности ИИ на Парижском саммите по влиянию ИИ в феврале 2025 года, чтобы они могли продолжить обсуждение вопросов регулирования.

Основные результаты конференции

Подписано заявление о миссии

Заявление о миссии обязывает членов Сети сотрудничать в четырех областях:

Исследования: сотрудничество с сообществом исследователей безопасности ИИ и обмен результатами. Тестирование: разработка и обмен передовыми методами тестирования передовых систем ИИ. Руководство: содействие общим подходам к интерпретации результатов испытаний безопасности ИИ. Включение: обмен информацией и техническими инструментами для расширения участия в науке безопасности ИИ.

Более 11 миллионов долларов выделено на исследования безопасности ИИ

В общей сложности члены Сети и несколько некоммерческих организаций объявили о выделении более 11 миллионов долларов на финансирование исследований по снижению риска контента, создаваемого ИИ. Материалы о сексуальном насилии над детьми, несогласованные сексуальные образы и использование ИИ для мошенничества и выдачи себя за другое лицо были выделены в качестве основных проблемных областей.

Финансирование будет выделено в приоритетном порядке исследователям, изучающим методы прозрачности цифрового контента и модельные меры безопасности для предотвращения создания и распространения вредоносного контента. Гранты будут рассматриваться для ученых, разрабатывающих технические смягчения и социальные научные и гуманистические оценки.

Американский институт также опубликовал ряд добровольных подходов к устранению рисков, связанных с контентом, создаваемым ИИ.

Обсуждены результаты совместных испытаний

Сеть завершила первое в истории совместное тестирование Llama 3.1 405B компании Meta, изучая его общие знания, многоязычные возможности и галлюцинации в закрытой области, когда модель предоставляет информацию из области, выходящей за рамки того, на что ей было поручено ссылаться.

В ходе учений было высказано несколько соображений о том, как можно улучшить тестирование безопасности ИИ в разных языках, культурах и контекстах. Например, влияние незначительных методологических различий и методов оптимизации моделей на результаты оценки. Более широкие совместные учения по тестированию пройдут до Парижского саммита действий ИИ.

Согласована общая основа для оценки рисков

Сеть согласовала общую научную основу для оценки рисков ИИ, включая то, что они должны быть действенными, прозрачными, всеобъемлющими, многосторонними, итеративными и воспроизводимыми. Участники обсудили, как это можно операционализировать.

В США создана целевая группа по «Тестированию рисков ИИ для национальной безопасности»

Наконец, была создана новая целевая группа TRAINS под руководством Института безопасности ИИ США, в которую вошли эксперты из других агентств США, включая Министерство торговли, Министерство обороны, Министерство энергетики и Министерство внутренней безопасности. Все участники будут тестировать модели ИИ для управления рисками национальной безопасности в таких областях, как радиологическая и ядерная безопасность, химическая и биологическая безопасность, кибербезопасность, критическая инфраструктура и военный потенциал.

SEE: Apple присоединяется к добровольному обязательству правительства США по обеспечению безопасности ИИ

Это еще раз подтверждает, насколько важным является взаимодействие ИИ и военных в США. В прошлом месяце Белый дом опубликовал первый в истории Меморандум по национальной безопасности об искусственном интеллекте, в котором Министерству обороны и разведывательным службам США предписано ускорить внедрение ИИ в миссиях по обеспечению национальной безопасности.

Спикеры обсудили баланс между инновациями в области ИИ и безопасностью

Министр торговли США Джина Раймондо выступила с программной речью в среду. Она сказала присутствующим, что «продвижение ИИ — это правильное дело, но продвигаться как можно быстрее, просто потому что мы можем, не думая о последствиях, — не самое разумное решение», — сообщает TIME.

Битва между прогрессом и безопасностью в сфере ИИ стала предметом спора между правительствами и технологическими компаниями в последние месяцы. Хотя цель состоит в том, чтобы обеспечить безопасность потребителей, регулирующие органы рискуют ограничить их доступ к новейшим технологиям, которые могут принести ощутимую выгоду. Google и Meta открыто критиковали европейское регулирование ИИ, ссылаясь на региональный Закон об ИИ, предполагая, что он сведет на нет его инновационный потенциал.

Раймондо заявил, что Институт безопасности искусственного интеллекта США «не занимается подавлением инноваций», сообщает AP. «Но вот в чем дело. Безопасность полезна для инноваций. Безопасность порождает доверие. Доверие ускоряет принятие. Принятие ведет к большему количеству инноваций».

Она также подчеркнула, что у стран есть «обязанность» управлять рисками, которые могут негативно повлиять на общество, например, вызывая безработицу и нарушения безопасности. «Давайте не позволим нашим амбициям ослепить нас и позволить нам идти по течению к собственной гибели», — сказала она через AP.

Генеральный директор Anthropic Дарио Амодеи также выступил с речью, в которой подчеркнул необходимость тестирования безопасности. Он сказал, что, хотя «сегодня люди смеются, когда чат-боты говорят что-то немного непредсказуемое», это показывает, насколько важно получить контроль над ИИ, прежде чем он приобретет более гнусные возможности, согласно Fortune.

Глобальные институты безопасности ИИ появлялись в течение последнего года

Первая встреча органов по ИИ состоялась в Блетчли-парке в Бакингемшире, Великобритания, около года назад. На ней был запущен Институт безопасности ИИ в Великобритании, у которого есть три основные цели:

Оценка существующих систем ИИ. Проведение фундаментальных исследований безопасности ИИ. Обмен информацией с другими национальными и международными субъектами.

В США есть свой Институт безопасности ИИ, официально созданный NIST в феврале 2024 года, который был назначен председателем сети. Он был создан для работы над приоритетными действиями, изложенными в Исполнительном указе об ИИ, выпущенном в октябре 2023 года. Эти действия включают разработку стандартов безопасности и защиты систем ИИ.

SEE: OpenAI и Anthropic подписывают соглашения с Институтом безопасности искусственного интеллекта США

В апреле правительство Великобритании официально согласилось сотрудничать с США в разработке тестов для передовых моделей ИИ, в основном путем обмена разработками, сделанными их соответствующими Институтами безопасности ИИ. Соглашение, достигнутое в Сеуле, привело к созданию аналогичных институтов в других странах, которые присоединились к сотрудничеству.

Прояснение позиции США в отношении безопасности ИИ на конференции в Сан-Франциско было особенно важным, поскольку в настоящее время в стране нет подавляющей поддержки. Избранный президент Дональд Трамп пообещал отменить указ, когда вернется в Белый дом. Присутствовавший на конференции губернатор Калифорнии Гэвин Ньюсом также наложил вето на спорный законопроект о регулировании ИИ SB 1047 в конце сентября.