«Долгосрочный подход» к продукту и опасность, которую он может принести

Нет никаких гарантий, что будущее будет иметь те же ценности, что и мы, так какое право мы имеем кодировать на них наши?

В фильме Кристофера Нолана «Довод» будущее воюет с прошлым, «потому что океаны поднялись, а реки высохли».

Из-за катастрофического изменения климата у наших потомков не было пути вперед, и их единственная надежда заключалась в том, чтобы построить будущее, организовав геноцид в нашем прошлом.

Как объясняет главный герой фильма Нил:

«Каждое поколение заботится о своем выживании».

![«Увидимся в начале, друг». Тенет, Warner Bros. Pictures] (https://cdn.hackernoon.com/images/sinW25rWovdN38P2ArzdPSCP3hi1-vr93h26.png)

Трудно смотреть такой фильм, как Тенет, и не размышлять о долгосрочных последствиях наших действий — как будущее оценит нас?

Работая над продуктом, мы подходим к большинству возможностей с добрыми намерениями. Мы хотим выявлять и решать важные проблемы, вести комфортную жизнь и оставить этот вращающийся камень в лучшем месте, чем когда мы присоединились к нему.

Однако иногда при планировании хороших долгосрочных результатов у Вселенной есть способы напомнить нам, насколько мы можем быть по-настоящему недальновидными.

Интересно, например, были ли у команды разработчиков Facebook бессонные ночи после того, как они узнали, как Cambridge Analytica угнала их Open Graph, чтобы повлиять на результаты президентских [выборов] в США в 2016 г. (https://www.nytimes.com/2018/03/17/us/politics/cambridge-analytica-trump-campaign.html).

Или когда их исследователи [осознали] (https://www.wsj.com/articles/facebook-knows-it-encourages-division-top-executives-nixed-solutions-11590507499), что в 64% случаев человек присоединяется к экстремистской группы, они делают это, потому что это рекомендовал Facebook.

Что вы делаете, когда узнаете, что ваш продукт [продвигает] общественное восстание?

Или когда ваш алгоритм [дает] ~:текст=не%20использовал%20дискриминационную%20практику,сказал%20в%20а%20утверждение%20вторник.) женщины более низкий кредитный лимит?

Или когда ваш игровой автомат вооружен, чтобы создать [угрозу] национальной безопасности(https://www.latimes .com/archives/la-xpm-2000-apr-17-fi-20482-story.html#:\~:text=Sony's%20High%2DTech%20Playstation2%20Will%20Require%20Military%20Export%20License,-LA% 20Times%20Archives&text=Sony%20PlayStation2%20may%20be%20more%20than%20just%20a%20toy.&text=Under%20Japanese%20export%20and%20trade,Trade%20Ministry%2C%20%20Mainichi%20сказал.)?

Попробуйте на минутку представить, что самый плохой человек получает контроль над работой всей вашей жизни. Как они могли использовать его для какой-то гнусной цели? Какие привычки мышления и внимания они могли бы развить?

Сложно смотреть на наш политически раздробленный мир поляризованных мнений и субъективных убеждений и не хотеть что-то делать. При наличии возможности заманчиво работать над решительным подходом к борьбе с мировыми эпидемиологическими, климатологическими и политическими проблемами. Если бы только все могли просто слушать наши мудрые мысли.

«Ересь одного века становится ортодоксией следующего» — Хелен Келлер

Риск нанести непреднамеренный ущерб обществу из-за предвзятости, неправильного использования и политических целей в ходе нашей работы побуждает нас усомниться в моральной ответственности команд разработчиков за ограничение вреда от того, что мы создаем.

Наша реакция состоит в том, чтобы начать создавать вещи, чтобы предотвратить такое злоупотребление в будущем. Мы начинаем думать о том, как измерять случаи неправильного использования. Какие системы раннего предупреждения мы могли бы внедрить? Какие ограничения мы могли бы наложить?

Хотя я считаю, что такие мысленные эксперименты верны, как показано в этой статье, мы рискуем причинить еще больший вред, пытаясь навязать долгосрочное благо.

Мы все подвержены риску того, что Евгений Морозов назвал в 2013 году '[техническим решением] (https://www.nytimes.com/2013/03/03/opinion/sunday/the-perils-of-perfection.html) '. Люди, занимающиеся продуктом, склонны предполагать, а не открыто исследовать проблемы, которые мы намереваемся решить; достижение решений до того, как вопросы были полностью заданы.

Чтобы создать более зрелую технологическую парадигму, нам нужно начать рассматривать продукты не только как решения, но и как инструменты, которые учат нас видеть мир более полно.

Мы все — технические пользователи, критики и команды разработчиков — должны задавать вопросы «а что, если» и «почему бы и нет» о возможностях технологий, разработанных для поддержки долгосрочного духа вопросов. Пока мы этого не сделаем, самым рискованным человеком, контролирующим нашу работу, всегда будем мы.

Будущее воюет с настоящим

Идея попытаться организовать вещи, чтобы создать лучший мир, является хорошо понятным человеческим желанием. Неважно, баллотируемся ли мы на политические посты, разрабатываем более справедливую систему кредитных рейтингов, управляем благотворительностью или просто старый добрый диктатор. Наши мотивы одинаковы — мы все верим в создание вещей, которые переживут нас и приведут человечество к лучшему будущему. Перефразируй; мы практикуем форму долгосрочного подхода.

Долгосрочная перспектива — это альтруистическая позиция, согласно которой мы должны отдавать приоритет улучшению жизни людей в будущем, а не себе.

«Люди будущего имеют такое же нравственное значение, как и люди, живущие сегодня; (…) вполне может быть, что в будущем в живых будет больше людей, чем в настоящем или было в прошлом; и (…) мы можем положительно повлиять на жизнь будущих людей», резюме Журналист Vox Сигал Самуэль.

Лонгтермизм утверждает, что наша цель, прежде всего, состоит в том, чтобы повысить реализацию человеческого потенциала.

В двух словах: люди существуют ради максимизации ценности, а не ради того, чтобы приносить пользу людям.

Долгосрочные сторонники доводят это моральное мировоззрение до крайности, предлагая нам представить влияние наших действий на очень долгосрочное будущее Вселенной — тысячи, через миллионы, миллиарды и даже триллионы лет.

Проблема в том, что в соответствии с этой идеологией даже климатическая катастрофа, которая сократит человеческое население на 75 процентов в течение следующих двух тысячелетий, по большому счету, будет не более чем незначительной вспышкой — эквивалентом 90-летней катастрофы. старые ушибли палец ноги.

Например, изменение климата в рамках этой идеологии оправдано до тех пор, пока оно позволяет небольшой части человечества выйти вперед и сделать предложение когда-нибудь в будущем.

Легко посмотреть на это и сказать: «Я так не думаю», но если вы работаете в продукте, то, скорее всего, так и есть. На самом деле корреляция между долгосрочным подходом и планированием успеха продукта пугающе близка.

Доход, удержание или рекомендации являются типичными долгосрочными целями для большинства продуктов, которые сильно влияют на то, как рынки, предпринимательство и наша культура стартапов расставляют приоритеты в работе. Конечно, такие принципы помогают развивать большинство инноваций, но эти решения также наиболее уязвимы к рискам и непреднамеренному вреду для общества.

Типичная ментальная модель продукта, такая как принцип Парето **(правило 80/20)** работает аналогично долгосрочному подходу в том смысле, что заставляет нас рассматривать долгосрочную цель, такую ​​как доход, а затем расставлять приоритеты в 80% продаж, которые могут быть получены всего от 20% ваших пользователей. Аргумент состоит в том, чтобы игнорировать 20% сложных задач, потому что они потребуют 80% усилий.

Представьте, если бы другие сектора приняли тот же редукционизм:

• Если бы кафе были просто эффективной доставкой калорий.

• Если бы отели ориентировались исключительно на количество спальных мест на квадратный метр.

• Если бы забота о здоровье касалась исключительно долголетия.

Нигде это не является наиболее опасным, чем сервисы, которые используют ИИ или системы, основанные на правилах, для влияния на поведение пользователей.

При разработке решений, которые исправляют несправедливость на благо человечества, у нас есть два варианта: применять то, что мы считаем справедливым сегодня, или доверять людям делать лучший выбор в будущем.

Короче говоря, наш вопрос должен звучать так: какие возможности мы упускаем, игнорируя эти другие 80%?

Заставить других поступать правильно

Предположим, ваша цель — уменьшить долгосрочную предвзятость и дискриминацию со стороны ваших услуг. Разумно начать с согласования того, как выглядит дискриминация, какие демографические сегменты использовать (например, раса, возраст или пол), а также как ее измерять и корректировать.

Нас тянет разрабатывать решения, основанные на наших доминирующих предположениях, но в отсутствие этого мы делаем следующую худшую вещь: пытаемся расшифровать «истину» проблемы, ища ее мифическое среднее значение.

Вы, наверное, догадываетесь, почему этого так трудно достичь. Даже для того, чтобы договориться о том, какие измерения следует исправить, требуется большая однородная группа в стерильной, чистой, статичной среде. Ни для кого это не является реальностью, но уж точно не является реальностью, если вы относитесь к аутсайдерам или меньшинству.

Риск заключается в том, что, пытаясь внедрить справедливость в услуги, мы всегда рискуем навязать людям новые предубеждения в будущем, заставив их смотреть на мир так, как мы видим его сегодня. Наши инструменты навязывают нам правила, как будто все люди одинаковы, и контекст не изменится.

Даже если мы успешно согласимся на какую-то беспристрастную количественную оценку, наше представление о том, как обстоят дела, не лучше, чем измерение песчаной дюны в ветреный день. Вы можете находиться в пустыне МИЛЛИАРД ЛЕТ, изо всех сил пытаясь получить измерения и точно определить, что представляет собой эта песчаная дюна, и ВСЕ ЕЩЕ потерпите неудачу, не по своей вине. Эта песчаная дюна, как и общество, — это процесс, а не статическая вещь, которую мы когда-либо можем измерить.

«Ни один человек (человек) никогда не ступает в одну и ту же реку дважды, ибо это не одна и та же река и он не один и тот же человек». — Гераклит

Есть и более широкие вещи, которые следует учитывать. Если все наши системы, например, требуют, чтобы индивидуумов было легко классифицировать, может ли это само по себе препятствовать общественному прогрессу? Когда ваш пол, этническая принадлежность или возраст определены количественно, как это может повлиять на инклюзивные движения, такие как культурная интеграция, гендерный переход или самоидентификация? Может ли это усилить нездоровую идентичность или даже поощрить социальное и расовое профилирование?

Наша проблема в том, что, пытаясь что-то исправить, мы начинаем рассматривать общество с точки зрения сетей вреда.

Поэтому становится легче рассматривать решения всех наших проблем с точки зрения сетей передачи данных, охвата наблюдения и взаимодействий между распределенными людьми и устройствами, которые необходимо регулировать.

Многие системы искусственного интеллекта, встроенные в учреждения, государственные учреждения и корпорации, представляют собой модели черного ящика. Они все больше полагаются на такие сложные гиперпараматизированные классификации мира, что становится все труднее понять, как такие решения приводят к конкретному решению, предсказанию или рекомендации.

[Алгоритм] профилирования занятости в Австрии (https://www.frontiersin.org/articles/10.3389/fdata.2020.00005/full), например, был разработан, чтобы «обслуживать растущее число соискателей с застойным бюджетом» с использованием алгоритма для прогнозирования перспективы трудоустройства соискателя на основе таких факторов, как пол, возрастная группа, гражданство, состояние здоровья, профессия и опыт работы.

Цель австрийского робота по трудоустройству заключалась в том, чтобы оптимизировать государственные расходы, поддерживая людей с умеренными перспективами трудоустройства и уменьшая поддержку тех, у кого низкие или высокие перспективы трудоустройства (по той причине, что такая поддержка окажет незначительное влияние на их шансы на трудоустройство).

К сожалению, именно ученые и группы гражданского общества в конце концов выявили как этот алгоритм работы стал несправедливо дискриминационным по отношению к женщинам старше 30 лет, женщинам с обязанностями по уходу за детьми, мигрантам или людям с ограниченными возможностями. Оказалось, что эта модель [усиливает] (http://epub.oeaw.ac.at/ita/ita-projektberichte/2020-02.pdf) расовую и этническую дискриминацию со стороны работодателей в некоторых частях страны.

Урок здесь заключается в том, что, несмотря на все свои превосходные способности, эти системы не избежали моделей поведения, к которым склонны люди.

Поскольку многие алгоритмические решения основаны на исторических данных — таких как кредиты, утвержденные в прошлом, или преступления, за которые вынесен суровый приговор, — они, как правило, усиливают исторические предубеждения. родители."

Результатом, по мнению французского философа Симоны Вейль, является общество, функционирующее «без единого человеческого понимания того, что он делает».

Наши исторические взгляды рискуют стать призраками в машине, преследующими грядущие поколения.

При использовании долгосрочных стратегий продукта для общественного блага, возможно, создание решений, основанных на бинарной классификации и исправлениях, — не лучший выход. Вместо этого мы должны стремиться никогда решать долгосрочные проблемы без предварительного создания платформ, которые помогут нам понять их нюансы и сложность.

Другими словами: создавайте продукты, обеспечивающие расширенную осведомленность.

Нашей долгосрочной целью должно быть информированное согласие

Даже если мы успешно создадим алгоритмы, которые побуждают пользователей действовать способами, которые мы считаем «правильными», проблема в том, что это не обязательно означает, что люди размышляют о проблемах, которые в первую очередь вызвали такие «исправления». Вместо этого мы должны делать больше, чтобы информировать пользователей о предубеждениях, которым они подвержены.

Например, в 2015 году в исследовании Вашингтонского профилирование, сексуализация и недостаточное представление женщин в результатах поиска изображений по таким запросам, как «генеральный директор» или «строитель». Я сомневаюсь, что разработчики продуктов Google рассчитывали на такой результат. Скорее всего, это отражает опасность кодирования исторических данных о кликах в надежде, что пользователи найдут релевантные результаты.

Однако, благодаря долгосрочной цели Google по увеличению вовлеченности посетителей, они бессознательно помогли навязать исторические гендерные стереотипы будущим поколениям.

С тех пор Google попытался исправить это, но, к сожалению, их долгосрочные цели, похоже, не изменились.

Сара МакКуэйт из Вашингтонского университета недавно отметили, что простое изменение ключевого слова с «CEO» на «CEO United States» вновь выявило те же гендерные проблемы. Не говоря уже о недостаточном демографическом представительстве — не все руководители белые, молодые, с прямыми стрижками и в костюмах.

![Изображение Сары МакКуэйт из Google. Гендерная предвзятость при поиске изображений «CEO» на самом деле не исправлена ​​(февраль 2022 г.)] (https://cdn.hackernoon.com/images/sinW25rWovdN38P2ArzdPSCP3hi1-a6b3h41.jpeg)

Спустя почти семь лет после этого первоначального исследования можно предположить, что принудительное исправление гендерной предвзятости для конкретных запросов не помогло прогрессировать бессознательной предвзятости более широких слоев населения. Больше беспокоит то, сколько времени потребовалось, чтобы снова поднять эти опасения.

Кандидат в доктора наук Питер Полак из Калифорнийского университета в Лос-Анджелесе лучше всего резюмирует (https://reallifemag.com/false-positivism/) проблему здесь:

Что «внедряя человеческие поправки в вычислительные системы, а затем проектируя их таким образом, чтобы они динамически реагировали на окружающую среду, мы рискуем автоматизировать такие посторонние этические дискуссии, как справедливость и репрезентативность».

Иными словами, введенные поправки создали ложное чувство безопасности, ведущее к стагнации.

Создание продуктов и услуг должно быть не просто сосредоточенным усилием по переходу пользователей от боли к решению; но и инструменты понимания и самоанализа. Вместо того, чтобы навязывать пользователям правильное поведение, Google должен был сосредоточиться на повышении осведомленности.

Каждый раз, когда пользователь выполняет поиск, пользователи должны понимать, почему они видят то, что видят, как это может отклоняться от истинного отражения общества и какие параметры определяют это.

Внедрение этого типа прозрачности во все наши решения, основанные на правилах, может помочь устранить разрушительное воздействие моделей, ИИ, правительств или групп разработчиков, навязывающих определенные взгляды на мир. Ключевое отличие сейчас заключается в том, что люди свободнее делать осознанный выбор в отношении предубеждений, от которых они хотят отказаться.

Конечно, некоторые предпочтут придерживаться ограниченной точки зрения — искать мнения и образы, которые соответствуют их мировоззрению. Но разница в том, что процесс больше не является пассивным; это становится непрерывным, сознательным выбором. В какой-то момент нам приходится постоянно противостоять своим предубеждениям и размышлять над ними, чего не должно происходить, когда исправления за нас автоматизированы.

Мы должны помнить, что ни одно решение не является правильным в долгосрочной перспективе. Однажды разработанные, независимо от того, насколько благонамеренны или разнообразны модели, они движутся к своей предвзятой цели в соответствии с объективной логикой.

Долгосрочные решения не учитывают, как меняется самость со временем, как мы приобретаем и теряем черты в силу нового социального положения и отношений. Если мы хотим запланировать позитивные долгосрочные изменения, мы должны убедиться, что мы прозрачно вносим коррективы в поведение людей с адекватными инструментами для отказа.

Невидимые системы правил имеют неприятную тенденцию заставлять нас служить целям нашей технологии, а не самим себе. Подобно истории кликов в поиске картинок Google, мы генерируем данные и модели поведения, необходимые для более эффективной работы. Тем не менее, со временем мы начинаем жить так, что служат не нашим целям, а целям технологий.

Философ Мартин Хайдеггер [утверждал] (https://cpb-us-e2.wpmucdn.com/sites.uci.edu/dist/a/3282/files/2018/01/Heidegger_TheQuestionConcerningTechnology.pdf), что нам нужно быть осторожными эта технология имеет свою собственную логику, выходящую за рамки человеческих мотивов и намерений. Поэтому мы должны обеспечить, чтобы человеческая деятельность всегда имела место в этой логике.

Но, мистер Грей, в логике нет вдохновения. В логике нет мужества. В логике даже счастья нет. Есть только удовлетворение. Единственное место логики в моей жизни — это осознание того, что чем больше я готов сделать для своей семьи, тем больше я смогу сделать для себя. - [Общий знаменатель успеха] (http://amnesta.net/mba/thecommondenominatorofsuccess-albertengray.pdf), Альберт Э. Н. Грей

Хотите узнать больше? Я нашел следующие статьи отличным источником вдохновения для этой статьи.

1. [Регулярное обслуживание] (https://harpers.org/archive/2022/01/routine-maintenance-embracing-habit-in-an-automated-world-meghan-ogieblyn/), Меган О’Гиблин.

1. [Ложный позитивизм] (https://reallifemag.com/false-positivism/), Питер Полак.

1. [Мономания нелиберальна и ошеломляет] (https://www.persuasion.community/p/haidt-monomania-is-illiberal-and?s=r), Джонатан Хайдт

Дополнение

Я счел нужным упомянуть, что, по моему мнению, __[Регламент ЕС об искусственном функционирующий внутренний рынок систем искусственного интеллекта», основанный на «ценностях и основных правах ЕС». является шагом в правильном направлении.

Он охватывает многие из моих принципов, касающихся гарантий, которые выявляют неравенство и неспособность должным образом защитить права. Меня успокоило то, что системы классификации, такие как оценка «надежности», были запрещены, и то, как системы искусственного интеллекта с высоким риском будут официально регулироваться.

:::Информация

Эта статья была совместно опубликована [здесь] (https://uxdesign.cc/the-dangers-of-product-longtermism-6b609d9ab211).