Объяснимости систем ИИ без ответственности и подотчетности недостаточно
25 апреля 2023 г.Объяснимость системы ИИ означает понимание того, как система ИИ дала результаты, которые она сделала с предоставленными входными данными. Объяснимость включает в себя понимание математических операций, которые система применяла к информации, и объяснение реального значения ряда таких операций. Как обсуждалось в «Прозрачности и объяснении в нейронных сетях глубокого обучения с подкреплением» Лейбнера и др., объяснимость системы искусственного интеллекта является важным первым шагом в установлении доверия к системе. Однако некоторые могут возразить, что это единственное требование к системе ИИ, которая должна считаться практичной и применимой к реальной жизни. Но достаточна ли объяснимость системы искусственного интеллекта без ответственности и подотчетности, чтобы быть уместной в нашей повседневной жизни и принимать решения самостоятельно?
Когда мы думаем о системах ИИ, которые наносят ущерб обществу, на ум приходят два ярких примера: Therac-25 и алгоритм COMPAS. Therac-25 — компьютерная система, используемая для лечения онкологических больных с помощью лучевой терапии. Он был запущен в Канаде в 1982 году и стал одним из ярких примеров компьютеризированной системы, которая безвредно использовалась для лечения пациентов. Однако история закончилась трагически, когда позже выяснилось, что система вызывала передозировку у пациентов не менее шести раз, что часто приводило к тяжелым травмам и даже смерти.
По данным комиссии, которая позже отвечала за расследование инцидента, «основная причина была связана с общим плохим проектированием и практикой разработки программного обеспечения, а не с выделением конкретных ошибок в коде. В частности, программное обеспечение было разработано таким образом, что было реально невозможно протестировать его тщательным автоматизированным способом".
Между тем, COMPAS является более свежим примером неудачной системы искусственного интеллекта, которая использовалась системой уголовного правосудия США для прогнозирования вероятности того, что подсудимый может причинить вред обществу. Несмотря на то, что модель была очень объяснимой и предоставляла факторы, на основе которых принималось каждое решение, позже было обнаружено, что модель была сильно предвзята в отношении чернокожих обвиняемых. Следовательно, несмотря на объяснимость системы, алгоритм КОМПАС смог нанести ущерб.
Как мы видели в обоих приведенных выше примерах, объяснимость сама по себе не может считаться порогом безопасности для реальных приложений. Поскольку система не является живым существом, у нее нет стимула давать ответственные ответы. Если по крайней мере какая-то организация несет ответственность/отчитывается за ответы, которые дает система ИИ, то у организации есть стимул следить за тем, чтобы система ИИ не принимала решений, которые могут нанести вред обществу. Например, если система не уверена в каком-то решении, то она должна ответить, а не принимать решение и надеяться, что оно окажется правильным. "Без подотчетности у системы ИИ нет стимула давать ответственные ответы, и она может принимать решения, которые будут иметь негативные последствия для общества".
В статье «Алгоритмическая подотчетность и общественный разум» обсуждалось, что подотчетность системы часто может стать препятствием для широкого распространения системы ИИ. Несмотря на то, что это ограничивает развитие технологий и создает серьезные проблемы для разработчиков, это также защищает потребителей системы от непредвиденных последствий. В большинстве случаев потребитель не осознает, какой вред может нанести используемая им система (не обязательно система ИИ). В результате специальные регулирующие организации в правительстве следят за тем, чтобы пользователь был в определенной степени защищен. Если подобные практики создания защищенной среды применяются во многих областях, то почему бы и нет в области систем ИИ?
В заключение можно с уверенностью сказать, что одной объяснимости недостаточно для широкого использования системы искусственного интеллекта. Помимо выходных данных, производимых системой ИИ, должен быть хотя бы одиночный уровень проверки.
Оригинал