Обнаружение аномалий с нулевым разглашением: выводы и ссылки
3 января 2024 г.:::информация Этот документ доступен на arxiv под лицензией CC BY-NC-SA 4.0 DEED.
Авторы:
(1) Shanshan Han & Qifan Zhang, UCI;
(2) Вэньсюань Ву, Техасский университет A&M;
(3) Baturalp Buyukates, Yuhang Yao & Weizhao Jin, USC;
(4) Салман Авестимер, USC & ФедМЛ.
:::
Таблица ссылок
Предлагаемое двухэтапное обнаружение аномалий
Проверяемое обнаружение аномалий с использованием ZKP
7 ЗАКЛЮЧЕНИЕ
Мы представляем передовую технику обнаружения аномалий, специально разработанную для реальных систем FL. Наш подход использует раннюю перекрестную проверку, которая активирует последующее обнаружение аномалий исключительно при наличии атак. При возникновении атак наш подход эффективно удаляет аномальные клиентские модели, гарантируя, что локальные модели, представленные безопасными клиентами, останутся незатронутыми. Кроме того, используя ZKP, участвующие клиенты могут проверить целостность обнаружения и устранения аномалий, выполняемых сервером. Практичный дизайн и присущая нашему подходу эффективность делают его хорошо подходящим для реальных систем FL. В наши планы на будущее входит расширение нашего подхода к сценариям асинхронного и вертикального FL.
ССЫЛКИ
Т. Аоки. Об устойчивости линейного преобразования в банаховых пространствах. Журнал Математического общества Японии, 2 (1-2): 64–66, 1950.
Э. Багдасарян, А. Вейт, Ю. Хуа, Д. Эстрин и В. Шматиков. Как обойти федеративное обучение. В AISTATS, 2020a.
Евгений Багдасарян, Андреас Вейт, Ицин Хуа, Дебора Эстрин и Виталий Шматиков. Как обойти федеративное обучение. На Международной конференции по искусственному интеллекту и статистике, стр. 2938–2948. ПМЛР, 2020б.
Арджун Нитин Бхагоджи, Суприё Чакраборти, Пратик Миттал и Серафин Кало. Анализ федеративного обучения через призму состязательности. На Международной конференции по машинному обучению, стр. 634–643. PMLR, 2019.
П. Бланшар, Э.М. Эль Мхамди, Р. Геррауи и Дж. Стейнер. Машинное обучение с противниками: византийский толерантный градиентный спуск. В НейриПС, 2017.
Дэвид Берд и Антигони Полихрониаду. Дифференциально защищенные многосторонние вычисления для федеративного обучения в финансовых приложениях. В материалах Первой международной конференции ACM по искусственному интеллекту в финансах, стр. 1–9, 2020 г.
Себастьян Кальдас, Сай Мехер Картик Дудду, Питер Ву, Тиан Ли, Якуб Конечни, Х. Брендан МакМахан, Вирджиния Смит и Амит Талвалкар. Leaf: эталон для федеративных настроек. Препринт arXiv arXiv:1812.01097, 2018.
Сяоюй Цао и Нил Чжэньцян Гун. Mpaf: моделируйте атаки на федеративное обучение, основанные на поддельных клиентах. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов, стр. 3396–3404, 2022 г.
Сяоюй Цао и Нил Чжэньцян Гун. Mpaf: моделируйте атаки на федеративное обучение, основанные на поддельных клиентах. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов, стр. 3396–3404, 2022 г.
Сяоюй Цао, Цзайси Чжан, Цзиньюань Цзя и Нил Чжэньцян Гун. Flcert: доказуемая защита федеративного обучения от вредоносных атак. Транзакции IEEE по информационной криминалистике и безопасности, 17: 3691–3705, 2022.
Минцин Чен, Раджив Мэтьюз, Том Оуян и Франсуаза Бофе. Федеративное изучение слов, которых нет в словаре. Препринт arXiv arXiv:1903.10635, 2019.
Ю. Чен, Л. Су и Цзюй Сюй. Распределенное статистическое машинное обучение в состязательных условиях: византийский градиентный спуск. ACM «Измерение и анализ вычислительных систем», 1(2):1–25, 2017 г.
Александр Чоудхури, Хасан Кассем, Николас Падой, Ренато Уметон и Александрос Караргирис. Обзор медицинского федеративного обучения: применение в онкологии и исследованиях рака. Поражение головного мозга: глиома, рассеянный склероз, инсульт и черепно-мозговые травмы: 7-й международный семинар, BrainLes 2021, проводимый совместно с MICCAI 2021, виртуальное мероприятие, 27 сентября 2021 г., переработанные избранные статьи, часть I, стр. 3–24. Спрингер, 2022 г.
М. Фан, С. Цао, Цзя Цзя и Н. Гун. Отравляющие локальные модели атакуют надежное византийское федеративное обучение. В USENIX Security, 2020 г.
Б. Фэн, Л. Цинь, Цз. Чжан, Ю. Дин и С. Чу. ZEN: оптимизирующий компилятор для проверяемых выводов нейронной сети с нулевым разглашением. 2021. Архив электронной печати по криптологии.
Грант С. Флетчер. Клиническая эпидемиология: основы. Липпинкотт Уильямс и amp; Уилкинс, 2019 г.
Р. Фрейвальдс. Вероятностные машины могут использовать меньше времени работы. На Конгрессе ИФИП, 1977 г.
Shuhao Fu, Chulin Xie, Bo Li, and Qifeng Chen. Attack-resistant federated learning with residualbased reweighting. arXiv preprint arXiv:1912.11464, 2019.
Клемент Фунг, Крис Дж. М. Юн и Иван Бесчастных. Ограничения федеративного обучения в настройках Сивиллы. В RAID, стр. 301–316, 2020 г.
С. Гольдвассер, С. Микали и К. Ракофф. Сложность знаний интерактивных систем доказательства. СИАМ Жур. на Comp., 18(1):186–208, 1989.
Дж. Грот. О размере неинтерактивных аргументов на основе пар. В Eurocrypt, 2016 г.
Рашид Геррауи, Себастьян Руо и др. Скрытая уязвимость распределенного обучения в «Византии». На Международной конференции по машинному обучению, стр. 3521–3530. ПМЛР, 2018.
С. Хан, Х. Ван, Дж. Ван и Дж. Ли. Итеративная схема приблизительного агрегирования на основе кредитного плеча. В IEEE ICDE, 2019 г.
Shanshan Han, Baturalp Buyukates, Zijian Hu, Han Jin, Weizhao Jin, Lichao Sun, Xiaoyang Wang, Chulin Xie, Kai Zhang, Qifan Zhang, et al. Fedmlsecurity: A benchmark for attacks and defenses in federated learning and federated llms. arXiv preprint arXiv:2306.04959, 2023.
Эндрю Хард, Канишка Рао, Раджив Мэтьюз, Сваруп Рамасвами, Франсуаза Бофе, Шон Огенштейн, Хьюберт Эйхнер, Хлоя Киддон и Дэниел Рэймидж. Федеративное обучение для прогнозирования клавиатуры на мобильных устройствах. Препринт arXiv arXiv:1811.03604, 2018.
Каймин Хэ, Сянъюй Чжан, Шаоцин Жэнь и Цзянь Сунь. Глубокое остаточное обучение для распознавания изображений. В материалах конференции IEEE по компьютерному зрению и распознаванию образов, стр. 770–778, 2016 г.
Л. Хе, С. П. Кариредди и М. Джагги. Византийско-надежное децентрализованное обучение посредством эгоцентричного вырезания. 2022. Доступно на arXiv:2202.01545.
Сяо Цзинь, Пин-Ю Чен, Цзя-И Сюй, Цзя-Му Ю и Тяньи Чен. Кафе: Катастрофическая утечка данных в вертикальном федеративном обучении. Достижения в области нейронных систем обработки информации, 34:994–1006, 2021.
Сай Пранит Кариредди, Ли Хи и Мартин Джагги. Византийско-надежное обучение на гетерогенных наборах данных посредством группирования. Препринт arXiv arXiv:2006.09365, 2020.
Санджай Карияппа, Чуан Го, Киван Маенг, Вэньцзе Сюн, Г. Эдвард Су, Мойнуддин К. Куреши и Сянь-Синь С. Ли. Атака на коктейльной вечеринке: нарушение конфиденциальности на основе агрегирования в федеративном обучении с использованием анализа независимых компонентов. На Международной конференции по машинному обучению, 2022 г. URL https://api.semanticscholar.org/CorpusID: 252211968.
Алекс Крижевский, Джеффри Хинтон и др. Изучение нескольких слоев функций из крошечных изображений. 2009.
Максимилиан Лам, Гу Ён Вэй, Дэвид Брукс, Виджай апа Редди и Майкл Митценмахер. Градиентная дезагрегация: нарушение конфиденциальности в федеративном обучении путем реконструкции матрицы участников пользователя. На Международной конференции по машинному обучению, стр. 5959–5968. ПМЛР, 2021.
С. Ли, Х. Ко, Дж. Ким и Х. О. vCNN: проверяемая сверточная нейронная сеть на основе zksnarks. 2020. Архив электронной печати по криптологии.
Дэвид Лерой, Элис Кук, Тибо Лавриль, Тибо Гиссельбрехт и Жозеф Дюро. Федеративное обучение для определения ключевых слов. На Международной конференции IEEE по акустике, речи и обработке сигналов (ICASSP), стр. 6341–6345, 2019 г.
Suyi Li, Yong Cheng, Wei Wang, Yang Liu, and Tianjian Chen. Learning to detect malicious clients for robust federated learning. arXiv preprint arXiv:2002.00211, 2020.
Т. Лю, С. Се и Ю. Чжан. ZkCNN: Доказательства с нулевым разглашением для прогнозов и точности сверточных нейронных сетей. В ACM CCS, 2021 г.
А. Лион. Почему нормальные распределения нормальны? Британский журнал философии науки, 65(3):621–649, 2014.
Брендан МакМэхан, Эйдер Мур, Дэниел Рэймидж, Сет Хэмпсон и Блез Агера и Аркас. Эффективное для коммуникации изучение глубоких сетей на основе децентрализованных данных. В «Искусственном интеллекте и статистике», стр. 1273–1282. ПМЛР, 2017а.
Брендан МакМэхан, Эйдер Мур, Дэниел Рэймидж, Сет Хэмпсон и Блез Агера и Аркас. Эффективное для коммуникации изучение глубоких сетей на основе децентрализованных данных. В «Искусственном интеллекте и статистике», стр. 1273–1282. ПМЛР, 2017б.
Дж. Осборн. Улучшение преобразования данных: применение преобразования Бокса-Кокса. Практическая оценка, исследования и оценка, 15(1):12, 2010 г.
Мустафа Сафа Оздайи, Мурат Кантарджиоглу и Юлия Р. Гель. Защита от бэкдоров в федеративном обучении с высокой скоростью обучения. В материалах конференции AAAI по искусственному интеллекту, том 35, стр. 9268–9276, 2021 г.
Кришна Пиллутла, Шам М. Какаде и Заид Харчауи. Надежное агрегирование для федеративного обучения. Транзакции IEEE по обработке сигналов, 70:1142–1154, 2022.
Сваруп Рамасвами, Раджив Мэтьюз, Канишка Рао и Франсуаза Бофе. Федеративное обучение прогнозированию смайлов на мобильной клавиатуре. Препринт arXiv arXiv:1906.04329, 2019.
М. Розенблатт. Центральная предельная теорема и условие сильного перемешивания. Национальная академия наук, 42 (1): 43–47, 1956.
Р. М. Сакиа. Техника преобразования Бокса-Кокса: обзор. Журнал Королевского статистического общества: серия D, 41(2):169–178, 1992.
Э. Б. Сассон, А. Кьеза, К. Гарман, М. Грин, И. Майерс, Э. Тромер и М. Вирза. Zerocash: децентрализованные анонимные платежи из биткойнов. В IEEE S&P, 2014 г.
Цзинвэй Сунь, Энг Ли, Луи ДиВалентен, Амин Хасанзаде, Иран Чен и Хай Ли. Fl-wbc: повышение устойчивости к атакам с отравлением модели в федеративном обучении с точки зрения клиента. Достижения в области нейронных систем обработки информации, 34: 12613–12624, 2021.
Зитенг Сан, Питер Кайруз, Ананда Тирта Суреш и Х. Брендан МакМахан. Можете ли вы действительно использовать бэкдор для федеративного обучения? Препринт arXiv arXiv:1911.07963, 2019.
Участники Circcom. Экосистема Circcom zkSNARK, 2022 г. https://github.com/iden3/circom.
Вейл Толпегин, Стейси Труекс, Мехмет Эмре Гурсой и Линг Лю. Атаки с отравлением данных против федеративных систем обучения. На Европейском симпозиуме по исследованиям в области компьютерной безопасности, стр. 480–501. Springer, 2020.
Ричард Томсетт, Кевин Чан и Суприйо Чакраборти. Моделируйте атаки с отравлением на распределенные системы машинного обучения. В книге «Искусственный интеллект и машинное обучение для приложений многодоменных операций», том 11006, стр. 481–489. ШПАЙ, 2019.
Х. Ван, К. Шринивасан, С. Раджпут, Х. Вишвакарма, С. Агарвал, Дж. Сон, К. Ли и Д. Папалиопулос. Атака решки: Да, вы действительно можете использовать бэкдор в федеративном обучении. В НейИПС, 2020.
Цзяньхуа Ван. Прошел: безопасная и справедливая схема федеративного обучения на основе аудита параметров против безбилетника. Препринт arXiv arXiv:2207.07292, 2022.
С. Вейсберг. Преобразования власти Йео-Джонсона. 2001. Доступно по адресу https://www.stat.umn.edu/arc/yjpower.pdf.
Конг Се, Олувасанми Коеджо и Индранил Гупта. SLSGD: безопасное и эффективное машинное обучение на распределенных устройствах. На Объединенной европейской конференции по машинному обучению и обнаружению знаний в базах данных, стр. 213–228. Спрингер, 2020 г.
Х. Ян, С. Чжан, М. Фан и Дж. Лю. Устойчивый к византийскому стохастическому градиентному спуску для распределенного обучения: координатный медианный подход, вдохновленный Липшицем. В IEEE CDC, 2019 г.
Донг Инь, Юдонг Чен, Каннан Рамчандран и Питер Бартлетт. Византийско-надежное распределенное обучение: на пути к оптимальным статистическим показателям. На Международной конференции по машинному обучению, стр. 5650–5659. ПМЛР, 2018.
Zaixi Zhang, Xiaoyu Cao, Jinyuan Jia, and Neil Zhenqiang Gong. Implementation of fldetector. https://github.com/zaixizhang/FLDetector, 2022a.
Цзайси Чжан, Сяоюй Цао, Цзиньюань Цзя и Нил Чжэньцян Гун. Fldetector: защита федеративного обучения от атак по отравлению модели посредством обнаружения вредоносных клиентов. В материалах 28-й конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных, стр. 2545–2555, 2022b.
Чжэнмин Чжан, Ашвини Панда, Линьюэ Сун, Яоцин Ян, Майкл В. Махони, Джозеф Гонсалес, Каннан Рамчандран и Пратик Миттал. Нейротоксин: надежные бэкдоры в федеративном обучении. На Международной конференции по машинному обучению, 2022c. URL https: //api.semanticscholar.org/CorpusID:249889464.
ПРИЛОЖЕНИЕ
A.1 ДОКАЗАТЕЛЬСТВО ДИАПАЗОНА PPV
Б ВНЕДРЕНИЕ ЗКП
Б.1 ВЫБОР СИСТЕМЫ ZKP
В нашей реализации мы используем схему Groth16 (Groth, 2016) zkSNARK, реализованную в библиотеке Circom (Circom Contributors, 2022) для всех описанных выше вычислений. Мы выбрали эту схему ZKP, поскольку ее конструкция обеспечивает постоянный размер доказательства (128 байт) и постоянное время проверки. По этой причине Groth16 популярен для приложений блокчейна из-за небольших вычислений в цепочке. Существуют и другие схемы ZKP, основанные на другой конструкции, которые могут обеспечить более быстрое время проверки (Лю и др., 2021), но размер доказательства слишком велик, а время проверки непостоянно, что является проблемой, если верификатору не хватает вычислительной мощности. Построение схемы ZKP, эффективной как для доказывающего, так и для проверяющего, по-прежнему остается открытым направлением исследований.
B.2 ДОПОЛНИТЕЛЬНЫЕ ЭКСПЕРИМЕНТЫ ДЛЯ УРОВНЯ ВАЖНОСТИ
Оригинал