Предвзятость ИИ: лидеры Accenture и SAP о проблемах разнообразия и их решениях

По мнению ведущих экспертов в области данных и ИИ, генеративная предвзятость ИИ, обусловленная данными обучения моделей, остается большой проблемой для организаций. Эти эксперты рекомендуют организациям Азиатско-Тихоокеанского региона принимать упреждающие меры по проектированию вокруг или устранению предвзятости при внедрении вариантов использования генеративного ИИ в производство.

Тереза ​​Тунг, старший управляющий директор Accenture, рассказала TechRepublic, что генеративные модели ИИ обучались в основном на интернет-данных на английском языке с сильным североамериканским уклоном и, скорее всего, будут закреплять точки зрения, распространенные в Интернете. Это создает проблемы для технологических лидеров в Азиатско-Тихоокеанском регионе.

«С точки зрения языка, если вы не являетесь англоговорящим человеком — например, находитесь в Китае, Таиланде или других местах — вы не увидите, что ваш язык и ваши взгляды отражены в модели», — сказала она.

По словам Танга, технологические и деловые таланты, находящиеся в неанглоязычных странах, также оказываются в невыгодном положении. Невыгодное положение возникает из-за того, что эксперименты в области генеративного ИИ в основном проводятся «англоговорящими и людьми, для которых английский язык является родным или которые могут работать с ним».

В то время как многие местные модели развиваются, особенно в Китае, некоторые языки в регионе не охвачены. «Этот разрыв в доступности станет большим, причем предвзятым, в дополнение к распространению некоторых точек зрения, которые преобладают в этом корпусе [интернет-]данных», — сказала она.

Предвзятость ИИ может привести к организационным рискам

Ким Остхёйзен, руководитель отдела ИИ в SAP Australia и New Zealand, отметила, что предвзятость распространяется и на пол. В одном исследовании Bloomberg, посвященном изображениям, созданным Stable Diffusion, женщины были значительно недопредставлены на изображениях для высокооплачиваемых профессий, таких как врачи, несмотря на более высокие фактические показатели участия в этих профессиях.

«Эти преувеличенные предубеждения, которые создают системы ИИ, известны как репрезентативный вред», — сказала она аудитории на недавнем фестивале SXSW в Сиднее, Австралия. «Это вред, который унижает определенные социальные группы, укрепляя статус-кво или усиливая стереотипы», — сказала она.

«ИИ хорош ровно настолько, насколько хороши данные, на которых он обучен; если мы даем этим системам неправильные данные, он просто усилит эти результаты и будет продолжать делать это постоянно. Вот что происходит, когда данные и люди, разрабатывающие технологию, не имеют репрезентативного взгляда на мир».

СМОТРИТЕ: Почему проекты генеративного ИИ рискуют потерпеть неудачу без понимания со стороны руководителей бизнеса

Если ничего не делать для улучшения данных, проблема может усугубиться. Остхёйзен сослалась на прогнозы экспертов о том, что большая часть изображений в Интернете может быть искусственно сгенерирована всего за несколько лет. Она объяснила, что «когда мы исключаем группы людей в будущем, это будет продолжаться».

В качестве другого примера гендерной предвзятости Остхёйзен привел один механизм прогнозирования ИИ, который анализировал образцы крови на предмет рака печени. В итоге ИИ в два раза чаще выявлял заболевание у мужчин, чем у женщин, поскольку в наборе данных, который использовала модель для получения результатов, не было достаточного количества женщин.

Тунг сказал, что медицинские учреждения представляют особый риск для организаций, поскольку это может быть опасно, когда лечение рекомендуется на основе предвзятых результатов. И наоборот, использование ИИ в заявлениях о приеме на работу и найме может быть проблематичным, если не дополняться человеком в цикле и ответственным взглядом ИИ.

Разработчики и пользователи моделей ИИ должны учитывать предвзятость ИИ

Предприятиям следует адаптировать подход к разработке моделей генеративного ИИ или интегрировать сторонние модели в свой бизнес, чтобы устранить предвзятость данных или защитить от нее свои организации.

Например, производители моделей работают над тонкой настройкой данных, используемых для обучения своих моделей, вводя новые, релевантные источники данных или создавая синтетические данные для введения баланса, сказал Тунг. Одним из примеров для пола может быть использование синтетических данных, чтобы модель была репрезентативной и производила «она» так же часто, как и «он».

По словам Танга, организациям, использующим модели ИИ, необходимо будет проводить проверку на предмет предвзятости ИИ так же, как они проводят контроль качества программного кода или при использовании API от сторонних поставщиков.

«Точно так же, как вы запускаете тест программного обеспечения, это получение правильных данных», — объяснила она. «Как образцовый пользователь, я собираюсь провести все эти проверочные тесты, которые ищут гендерную предвзятость, предвзятость разнообразия; это может быть просто чисто о точности, чтобы убедиться, что у нас есть много всего этого для проверки тех вещей, которые нам важны».

SEE: Обучение и руководство ИИ создают проблемы для сотрудников

В дополнение к тестированию, организации должны внедрить защитные ограждения за пределами своих моделей ИИ, которые могут корректировать смещение или точность перед передачей выходных данных конечному пользователю. Тунг привел пример компании, использующей генеративный ИИ для генерации кода, который выявил новую уязвимость Python.

«Мне нужно будет воспользоваться этой уязвимостью, и я попрошу эксперта, который знает Python, сгенерировать несколько тестов — пары вопросов и ответов, которые покажут, как выглядит хороший ответ, а также возможные неправильные ответы, — а затем я протестирую модель, чтобы посмотреть, делает она это или нет», — сказал Танг.

«Если он не работает с нужной производительностью, мне нужно это учесть», — добавила она.

Разнообразие в отрасли технологий искусственного интеллекта поможет снизить предвзятость

Остхёйзен сказала, что для устранения гендерной предвзятости в ИИ важно, чтобы женщины «имели место за столом». Это означает включение их точек зрения в каждый аспект пути ИИ — от сбора данных до принятия решений и руководства. Это потребует улучшения восприятия карьеры в сфере ИИ среди женщин, сказала она.

СМ.: Salesforce предлагает 5 рекомендаций по снижению предвзятости ИИ

Тунг согласилась, что улучшение представительства очень важно, будь то пол, раса, возраст или другие демографические характеристики. Она сказала, что наличие многопрофильных команд «действительно имеет ключевое значение», и отметила, что преимущество ИИ заключается в том, что «в наши дни не всем нужно быть специалистом по данным или уметь применять эти модели».

«Многое из этого есть в приложении», — объяснил Танг. «Так что на самом деле это кто-то, кто очень хорошо разбирается в маркетинге, финансах или обслуживании клиентов, и не ограничивается только кадровым резервом, который, честно говоря, не так разнообразен, как должен быть. Поэтому, когда мы думаем о сегодняшнем ИИ, это действительно отличная возможность расширить это разнообразие».