Salesforce предлагает 5 рекомендаций по снижению предвзятости ИИ

12 марта 2023 г.

Salesforce, которая в прошлом году представила свою платформу искусственного интеллекта Einstein для своей платформы Customer 360, опубликовала то, что, по ее словам, является первым в отрасли руководством по надежному генеративному искусственному интеллекту. Руководящие принципы, написанные Полой Голдман, директором по этике и гуманному использованию, и Кэти Бакстер, главным архитектором этического ИИ в компании, призваны помочь организациям расставить приоритеты в инновациях, основанных на ИИ, в отношении этики и точности, в том числе в тех случаях, когда могут возникнуть предвзятые утечки и как их найти и прижечь.

Бакстер, который также является приглашенным научным сотрудником по искусственному интеллекту в Национальном институте стандартов и технологий, сказал, что есть несколько точек входа для предвзятости в моделях машинного обучения, используемых для проверки работы, исследования рынка, принятия решений в области здравоохранения, приложений уголовного правосудия и многого другого. Однако она отметила, что нет простого способа измерить, что представляет собой модель, которая является «безопасной» или превышает определенный уровень предвзятости или токсичности.

В январе NIST выпустил свою платформу управления рисками искусственного интеллекта в качестве ресурса для организаций, «проектирующих, разрабатывающих, развертывающих или использующих системы ИИ, чтобы помочь управлять многими рисками ИИ и способствовать надежной и ответственной разработке и использованию систем ИИ».

Бакстер сказала, что дала отзыв о структуре и участвовала в двух из трех семинаров, которые проводил NIST, чтобы получить отзывы от общественности и повысить осведомленность.

«Структура обсуждает, что требуется для надежного ИИ, и рекомендации аналогичны нашим принципам и рекомендациям по доверенному ИИ: действительные и надежные, безопасные, подотчетные и прозрачные, объяснимые, с повышенной конфиденциальностью и справедливые. Salesforce разбивает вещи немного по-другому, но все те же концепции», — сказала она.

СМОТРЕТЬ: Политика этики искусственного интеллекта (TechRepublic Premium)

Как нарезка и нарезка данных создает предвзятые модели

«Мы говорим об ИИ, как если бы он был однородным, как пищевая добавка, которую FDA может утверждать, что она безопасна при определенной концентрации, но это не так, она очень разнообразна», — сказал Бакстер, цитируя статью 2021 года исследователей Массачусетского технологического института Харини Суреш и Джон Гуттаг, в котором описывается множество способов слишком узкого использования данных при разработке моделей машинного обучения.

Бакстер сказал, что это может привести к пяти реальным травмам.

Исторический уклон

Исторические данные, даже если они «идеально измерены и отобраны», могут привести к пагубным результатам, отмечается в документе Массачусетского технологического института. Бакстер сказал, что иллюстрацией этого могут быть точные исторические данные, показывающие, что чернокожие американцы сталкивались с красной чертой и разными стандартами получения кредитов.

«Если вы используете исторические данные для предсказания будущего, ИИ «научится» не давать кредиты чернокожим заявителям, потому что он просто воспроизведет прошлое», — сказала она.

ПОСМОТРЕТЬ: Создайте свою учебную библиотеку по машинному обучению с помощью этого комплекта электронных книг (Академия TechRepublic)

Предвзятость представления

Поскольку выборка данных недопредставляет некоторую часть населения, она не может хорошо обобщить подмножество.

Бакстер отметил, что некоторые модели зрения, обученные на данных, собранных в основном из США или западных стран, терпят неудачу, потому что они пропускают культурные представления из других стран. Такая модель может создать или найти белые «свадебные платья», основанные на западных эстетических идеалах, а не на идеалах, скажем, Южной Кореи или Нигерии.

«При сборе данных вы должны учитывать выбросы, разнообразие населения и аномалии», — сказала она.

Смещение измерения

В документе Массачусетского технологического института отмечается, что это смещение возникает из-за использования конкретных измерений, предназначенных для приближения к идее или концепции, которую нелегко наблюдать. Бакстер отметил, что алгоритм обнаружения рецидивизма COMPAS является ярким примером этого: он разработан, чтобы помочь правоохранительным органам выбрать условно-досрочно освобожденных на основе возможности повторного ареста.

«Если бы вы поговорили с пострадавшим сообществом, вы бы увидели непропорциональную предвзятость в отношении того, кто помечен как относящийся к группе высокого риска, а кто подвергается сомнению», — сказала она. «COMPAS не предсказывал, кто собирается повторно совершить преступление, а скорее предсказывал, кто с большей вероятностью будет снова арестован».

Смещение агрегации

Это разновидность ошибки обобщения, при которой модель «один размер подходит всем» используется для данных с основными группами или типами примеров, которые следует рассматривать по-разному, что приводит к модели, которая не является оптимальной для какой-либо группы или одного. справедливо только для доминирующего населения.

Бакстер отметил, что, хотя пример в статье Массачусетского технологического института был сосредоточен на анализе социальных сетей: «Мы видим, что он присутствует в других местах, где смайлики и сленг используются в рабочей обстановке».

Она указала, что группы по возрасту, расе или родству склонны разрабатывать свои собственные слова и значения смайликов: в TikTok смайлики стула и черепа стали обозначать, что человек умирает от смеха, а такие слова, как «яс» и «убей», появляются. нести определенные значения в пределах определенных групп.

«Если вы попытаетесь проанализировать или обобщить настроения в социальных сетях или каналах Slack на работе, используя определенное значение смайликов или слов, которые использует большинство людей, вы ошибетесь для подгрупп, которые используют их по-разному», — сказала она.

Предвзятость оценки

Для предвзятости, возникающей, когда эталонные данные, используемые для конкретной задачи, не представляют население, в документе Массачусетского технологического института в качестве примера предлагается распознавание лиц, цитируя более раннюю работу Гебру и Джой Буоламвини. Эта работа показала резко худшую производительность коммерческих алгоритмов анализа лица на изображениях темнокожих женщин. В этом исследовании было отмечено, что изображения темнокожих женщин составляют всего 7,4% и 4,4% общих эталонных наборов данных.

Рекомендации по предотвращению предвзятости в моделях ИИ

В руководствах Salesforce авторы перечислили несколько рекомендаций для предприятия по защите от предвзятости и избеганию ловушек, скрывающихся в наборах данных и процессе разработки машинного обучения.

1. Поддающиеся проверке данные

Клиенты, использующие модель ИИ в качестве услуги, должны иметь возможность обучать модели на своих собственных данных, а организации, использующие ИИ, должны сообщать, когда есть неуверенность в достоверности ответа ИИ, и предоставлять пользователям возможность проверить эти ответы.

Руководящие принципы предполагают, что это можно сделать, цитируя источники, предлагая ясное объяснение того, почему ИИ давал такие ответы, или давая области для перепроверки, и создавая барьеры, которые не позволяют полностью автоматизировать некоторые задачи.

2. Безопасность

Согласно отчету, компании, использующие ИИ, должны уменьшить вредные результаты, проводя оценки предвзятости, объяснимости и надежности, а также объединяя усилия. Они должны хранить в безопасности любую личную информацию в обучающих данных и создавать барьеры для предотвращения дополнительного вреда.

3. Честность

При сборе данных для обучения и оценки моделей организации должны уважать происхождение данных и убедиться, что у них есть согласие на использование данных.

«Мы также должны быть прозрачными в том, что ИИ создал контент, когда он доставляется автономно», — говорится в отчете.

4. Расширение прав и возможностей

Разработчики ИИ должны осознавать разницу между проектами ИИ, идеально подходящими для автоматизации, и теми, в которых ИИ должен быть вспомогательной функцией человека.

«Нам необходимо определить соответствующий баланс, чтобы «перезарядить» человеческие возможности и сделать эти решения доступными для всех», — пишут авторы.

5. Устойчивое развитие

Руководящие принципы предполагают, что пользователи ИИ должны учитывать размер и потребление модели ИИ в рамках своей работы по повышению ее точности, чтобы уменьшить углеродный след этих сред.

«Когда дело доходит до моделей ИИ, больше не всегда означает лучше: в некоторых случаях меньшие, лучше обученные модели превосходят более крупные, менее обученные модели», — говорят авторы Массачусетского технологического института.

Бакстер согласился с этой оценкой.

«Вы должны смотреть комплексно, когда думаете об ответственном создании ИИ с самого начала создания ИИ», — сказал Бакстер. «Какие предубеждения связаны с вашей идеей, а также с предположениями, которые вы делаете, на протяжении всего обучения, оценки развития, тонкой настройки и того, на ком вы ее реализуете? Вы даете правильное исправление, когда ошибаетесь?»

---

Оригинал