Введение в проверяемую честность: расчет справедливости для систем машинного обучения с сохранением конфиденциальности
3 января 2024 г.:::информация Этот документ доступен на arxiv по лицензии CC BY 4.0 DEED.
Авторы:
(1) Эхсан Торейни, Университет Суррея, Великобритания;
(2) Марьям Мехрнежад, Лондонский университет Ройал Холлоуэй;
(3) Аад Ван Мурсел, Бирмингемский университет.
:::
Таблица ссылок
Справочная информация и сопутствующая работа
Анализ внедрения и производительности
Аннотация
Справедливое машинное обучение – это динамично развивающаяся тема исследований. В этой статье мы предлагаем «Справедливость как услуга» (FaaS), безопасный, проверяемый и сохраняющий конфиденциальность протокол для расчета и проверки справедливости любой модели машинного обучения (ML). В конструкции FaaS данные и результаты представлены в виде криптограмм для обеспечения конфиденциальности. Кроме того, доказательства с нулевым разглашением гарантируют правильность криптограмм и лежащих в их основе данных. FaaS не зависит от модели и может поддерживать различные показатели справедливости; следовательно, его можно использовать как услугу для проверки справедливости любой модели ML. Наше решение не требует доверенных третьих лиц или частных каналов для расчета показателя справедливости. Гарантии безопасности и обязательства реализуются таким образом, что каждый шаг является безопасным и проверяемым от начала до конца процесса. Криптограммы всех входных данных общедоступны для всех, например, аудиторов, общественных активистов и экспертов, чтобы проверить правильность процесса. Мы внедрили FaaS, чтобы исследовать производительность и продемонстрировать успешное использование FaaS для общедоступного набора данных с тысячами записей.
Введение
Демонстрация справедливости алгоритмов имеет решающее значение для дальнейшего распространения и признания алгоритмического принятия решений в целом и систем на основе искусственного интеллекта в частности. Нет недостатка в примерах, которые снизили доверие к алгоритмам из-за несправедливой дискриминации групп внутри нашего населения. Сюда входят новости об инструментах принятия кадровых решений, используемых крупными компаниями, которые оказываются дискриминирующими женщин [28]. Существуют также хорошо понятные плодотворные примеры, широко изучаемые в академическом сообществе, такие как несправедливые решения, связанные с рецидивизмом среди представителей разных национальностей [20]. Совсем недавно в Великобритании алгоритм определения замещающих баллов A-level при COVID-19 был признан несправедливым для разных демографических групп [23].
Произошел всплеск исследований, целью которых является установление показателей, позволяющих количественно оценить справедливость алгоритма. Это важная область исследований, и были предложены десятки различных показателей, от индивидуальной справедливости до групповой справедливости. Было показано, что различные выражения справедливости не могут быть удовлетворены или оптимизированы одновременно, что приводит к получению результатов о невозможности [11]. Более того, даже если прийти к согласию относительно метрики, сама по себе эта метрика не обеспечивает доверия людям. Важно не только то, что выражают метрики, но и то, кто их вычисляет и можно ли проверить эти вычисления и, возможно, обжаловать их. В то же время в ситуациях, когда возможна проверка со стороны заинтересованных сторон, владелец данных хочет быть уверен, что ни одна из исходных, обычно конфиденциальных и личных данных не будет утеряна. Система, которая запускает алгоритмы (позже называемая системой машинного обучения или системой ML), может иметь действительный интерес в сохранении секретности модели. Другими словами, если кто-то хочет добиться поддающейся проверке справедливости, ему необходимо решить ряд проблем безопасности, конфиденциальности и доверия.
В FaaS мы применяем принципиально иной подход к проектированию. Мы не разглашаем данные или информацию о модели, но FaaS по-прежнему может рассчитывать справедливость для различных показателей справедливости и независимо от модели ML. Таким образом, замена модели в системе ML не повлияет на функциональность протокола FaaS. Более того, любая другая сторона может проверить этот расчет, поскольку вся необходимая зашифрованная информация публикуется публично, на «доске справедливости».
Подводя итог, наш вклад таков:
• Мы предлагаем FaaS, независимый от модели протокол для расчета различных показателей справедливости без доступа к конфиденциальной информации о модели и наборе данных.
• FaaS является универсально проверяемым, поэтому каждый может проверить правильность криптограмм и шагов протокола.
• Мы реализуем концепцию архитектуры и протокола FaaS, используя готовое оборудование, программное обеспечение и наборы данных, а также проводим эксперименты, чтобы продемонстрировать практическую осуществимость FaaS.
Оригинал