Можно ли доверять ИИ?

Хотя большинству из нас удобно пользоваться микроволновой печью, не понимая, как она работает, многие еще не относятся к ИИ так же, особенно если этот ИИ принимает важные решения в их жизни.< /p>

Проектирование систем машинного обучения, Чип Хьюен

Одним из наиболее важных качеств систем машинного обучения является их интерпретируемость (или объяснимость), которую, к сожалению, игнорируют многие компании, работающие с ИИ. Интерпретируемость относится к способности понимать и объяснять, как работает система ИИ, как она приходит к своим решениям и почему она принимает эти решения. Интерпретируемость важна не только для укрепления доверия, но и для выявления и устранения любых предубеждений или ошибок в системе. Например, доверяете ли вы решениям системы ИИ об отклонении вашей заявки на получение кредита или предоставлении вам диагноза серьезного заболевания?

Существует множество различных методов достижения интерпретируемости в системах ИИ, начиная от простых методов, таких как визуализация деревьев решений или важности функций, до более сложных методов, таких как создание объяснений с использованием обработки естественного языка (NLP) или нейронных сетей. Каждый метод имеет свои сильные и слабые стороны, и выбор метода будет зависеть от конкретного приложения и требуемого уровня интерпретируемости.

В конечном счете, цель интерпретируемости — создать системы ИИ, которым люди смогут доверять и понимать. Внедряя прозрачность и подотчетность в системы ИИ, мы можем гарантировать, что они используются этично и ответственно и приносят пользу обществу в целом.

Важность интерпретируемости в разных отраслях

Интерпретируемость имеет решающее значение в различных отраслях, а не только в финансах или здравоохранении. В системе уголовного правосудия системы искусственного интеллекта используются для оценки рисков и предиктивной полицейской деятельности, что делает интерпретируемость критически важной. Без понимания того, как система ИИ приходит к решению или прогнозу, трудно гарантировать, что решение будет справедливым и непредвзятым. Отсутствие интерпретации может привести к дискриминации определенных групп, особенно меньшинств, которые исторически сталкивались с предвзятостью в системе правосудия.

Другой пример — автомобильная промышленность, где искусственный интеллект используется для беспилотных автомобилей. Если система ИИ совершает ошибку, важно понять, почему это произошло, чтобы предотвратить ее повторение в будущем. Кроме того, интерпретируемость может помочь инженерам повысить производительность и безопасность беспилотных автомобилей, выявляя области, требующие улучшения в системе.

Кроме того, интерпретируемость важна в сфере образования, где системы искусственного интеллекта используются для прогнозирования успеваемости учащихся и рекомендации индивидуальных стратегий обучения. Если система ИИ рекомендует неправильную стратегию обучения, учащиеся могут столкнуться с трудностями в достижении своих академических целей. Таким образом, очень важно понимать, как система принимает решения, чтобы обеспечить получение учащимися наилучшего образования.

Интерпретируемость не просто необязательна для большинства случаев использования машинного обучения в отрасли, но является обязательным требованием. Очевидно, интерпретируемость не так важна, если вы строите систему для распознавания кошек на картинках. Чем выше цена ошибки, тем более понятной должна быть ваша система.

Снимок состояния ИИ

Согласно отчету AI Index 2019, интерпретируемость и объяснимость определены как наиболее часто упоминаемые этические проблемы в 59 странах. Принципы этического ИИ. Однако в отчете также подчеркивается тревожная тенденция: только 19% крупных компаний активно работают над улучшением объяснимости своих алгоритмов, и только 13% предпринимают шаги для снижения рисков для справедливости и справедливости, таких как алгоритмическая предвзятость и дискриминация. Это говорит о том, что предстоит еще много работы по продвижению этичных и ответственных методов ИИ в различных отраслях и секторах.

Кроме того, в отчете отмечается, что существуют значительные различия в внедрении и развитии ИИ между странами, при этом США и Китай лидируют с точки зрения результатов исследований и инвестиций. Это поднимает важные вопросы о глобальных последствиях ИИ и необходимости международного сотрудничества и сотрудничества в формировании его развития и управления.

Согласно Отчету об индексе ИИ за 2021 год, интерпретируемость и объяснимость по-прежнему считаются основными проблемами при разработке и развертывании систем ИИ. . Однако в отчете отмечается, что за последние несколько лет был достигнут определенный прогресс в улучшении интерпретируемости и объяснимости систем ИИ.

Например, в отчете отмечается, что процент статей об объяснимости и интерпретируемости в исследованиях ИИ значительно увеличился за последние несколько лет. В частности, в 2020 г. было принято 23 статьи, посвященных именно этой теме, а в 2021 г. это число выросло почти в 2 раза (41 статья).

В целом, несмотря на некоторый прогресс в улучшении интерпретируемости и объяснимости систем ИИ после публикации отчета об индексе ИИ за 2019 год, предстоит еще много работы, чтобы обеспечить прозрачность, подотчетность и надежность систем ИИ.

Достижения в области интерпретируемости

Недавние достижения в исследованиях интерпретируемости позволили значительно повысить прозрачность и подотчетность систем ИИ. Вот некоторые важные изменения:

1. Объяснения против фактов. Объяснения против фактов включают в себя создание объяснений решения модели путем создания сценария «что, если», в котором входные данные изменяются. Эти пояснения могут помочь пользователям понять, почему было принято то или иное решение и как оно могло измениться при других обстоятельствах. Вот практический пример того, как использовать эту технику с ChatGPT.
2. Методы, основанные на внимании. Целью методов, основанных на внимании, является понимание внутренней работы нейронных сетей путем определения того, на каких частях входных данных сеть фокусируется во время принятия решений. Эти методы могут быть особенно полезны для задач обработки естественного языка, поскольку они могут определить, какие слова или фразы были наиболее важными для влияния на выходные данные модели. Одним из примеров системы, использующей методы на основе внимания, является Google Translate. Одной из ключевых особенностей системы Google Translate является ее способность создавать карты внимания. Эти карты внимания обеспечивают визуальное представление частей ввода, на которые нейронная сеть обращает наибольшее внимание при переводе. Это позволяет пользователям лучше понять, как система выполняет свои переводы, и помогает укрепить доверие к системе.
3. Выделение модели. Выделение модели включает в себя обучение более простой, более понятной модели для имитации поведения более сложной, менее поддающейся интерпретации модели. Таким образом, более простая модель может предоставить более прозрачные объяснения решений, принятых исходной моделью. Пример: DistilBERT как упрощенная версия модели глубокого обучения Google BERT.
4. Методы участия человека в цикле. Методы участия человека в цикле включают в себя включение обратной связи человека в процесс интерпретации. Например, пользователя могут попросить предоставить отзыв о выводе системы, который затем можно использовать для уточнения и улучшения интерпретируемости системы. Самый популярный пример, который вы используете каждый день, — это спам-фильтр электронной почты. Многие почтовые службы используют алгоритмы машинного обучения для фильтрации спама, но они также полагаются на отзывы пользователей для повышения точности фильтров. Пользователи могут помечать электронные письма как спам или не спам, что алгоритм использует для обучения и улучшения. Недавно OpenAI также добавила цикл обратной связи в свою языковую модель ChatGPT: всякий раз, когда вы повторно генерируете ответ, модель запрашивает обратную связь от вас.

Эти достижения представляют собой впечатляющий прогресс в повышении прозрачности и подотчетности систем ИИ. Поскольку эта область продолжает развиваться, вполне вероятно, что появятся новые приемы и методы, которые еще больше улучшат интерпретируемость и позволят пользователям принимать более обоснованные решения на основе результатов систем ИИ.

Интерпретируемость может быть вредной

Хотя интерпретируемость может быть ценным инструментом для понимания моделей ИИ и повышения доверия к их решениям, есть также случаи, когда интерпретируемость может быть вредной. В некоторых сценариях чрезмерно упрощенная или прозрачная модель может поставить под угрозу конфиденциальность и безопасность. Например, в контексте здравоохранения может быть нежелательным, чтобы весь медицинский персонал имел доступ к полной информации о диагнозе пациента и рекомендациям по лечению. В этих случаях предпочтительнее использовать более непрозрачные модели, обеспечивающие ограниченный доступ к конфиденциальной информации.

Еще один важный момент, который следует учитывать, заключается в том, что интерпретируемость также может иметь негативные последствия. Например, предоставление слишком большого количества информации о том, как работает система, может облегчить злоумышленникам выявление слабых мест и поиск обходных путей. Это может быть особенно проблематично в конфиденциальных приложениях, таких как обнаружение финансового мошенничества или кибербезопасность, где злоумышленники могут использовать эти знания в своих интересах.

Чтобы проиллюстрировать этот момент, рассмотрим случай с Google AdSense, где слишком много кликов от одного и того же пользователя может привести к блокировке аккаунта. Хотя это правило было введено для предотвращения мошеннических действий, оно также может иметь непредвиденные последствия. Например, если злоумышленники знают точное пороговое значение количества кликов, которое приведет к приостановке, они могут воспользоваться этой уязвимостью и использовать ее для получения мошеннического дохода от рекламы. В конце концов, это может привести к расходам на миллионы долларов с клиентов Google. Таким образом, существует тонкий баланс между предоставлением достаточного количества информации, чтобы обеспечить доверие к системам ИИ, и не предоставлением такого количества информации, которое может быть использовано злоумышленниками.

Поэтому, несмотря на то, что во многих случаях интерпретируемость является ценным инструментом, важно понимать, что бывают ситуации, когда она может оказаться неуместной или бесполезной.

Заключение

В заключение следует отметить, что интерпретируемость остается серьезной проблемой для систем искусственного интеллекта. По мере того, как искусственный интеллект становится все более распространенным в нашей повседневной жизни, важно, чтобы мы понимали, как эти системы приходят к своим решениям и прогнозам. Разработка интерпретируемого ИИ не только повысит прозрачность и подотчетность, но и позволит лучше принимать решения, уменьшит предубеждения и повысит общую надежность. Недавние достижения в исследованиях интерпретируемости показали значительный прогресс в достижении этих целей, но еще многое предстоит сделать.

По мере продвижения вперед крайне важно, чтобы исследователи, политики и профессионалы отрасли работали вместе, чтобы обеспечить прозрачность и объяснимость систем ИИ. Хотя универсального решения не существует, постоянное развитие и применение методов с участием человека в цикле, моделей на основе внимания, дистилляции моделей и байесовских подходов открывают многообещающие возможности для будущих исследований.

В конечном счете, успех ИИ в будущем будет зависеть от его способности доверять и пониматься конечными пользователями. Отдавая приоритет интерпретируемости, мы можем гарантировать, что системы ИИ не только эффективны, но также этичны и подотчетны.

Первоначально опубликовано на https://thesametech.com 1 апреля 2023 г.

Вы также можете подписаться на меня в Twitter и подключитесь к LinkedIn чтобы получать уведомления о новых сообщениях!