Эти алгоритмы предназначены для улучшения состояния человека: они потерпели неудачу
30 июня 2025 г.Чтобы понять, что не так с правительствами, которые слишком сильно полагаются на данные и алгоритмы, давайте вернемся к лесам Пруссии 18-го века.
Как написал Джеймс Скотт в своей книгеВидеть как государствоВПравительства в бывшем немецком штате в основном рассматривали леса как способ извлечения доходов. Поэтому, когда они делали обследования лесов, все, что они считали, это количество деревьев, которые можно было разрезать и превратить в коммерческие древесины.
С подчиненной целью проливной древесины в руке штат перенастроил леса в регионе для оптимизации для этой метрики. Подлесок был очищен. Прибыльные монокультуры одинаковых деревьев были посажены одновременно - часто в прямых, упорядоченных линиях, которые облегчали их подсчет.
Потребовалось около столетия, чтобы бедствие. Первое поколение бюрократических управляемых деревьев преуспело. К второму поколению производство пиломатериалов рухнуло. Оказывается, поддержание здорового леса в значительной степени зависит от неизмеримых и неоптимизированных вещей. Например, разложение подлеска способствует здоровой почве. Однородные ряды деревьев от одного и того же вида, все посаженные одновременно, оказались особенно уязвимы для стихийных бедствий и заболеваний. «Новый термин,Уолдстербен(Лесная смерть), вошла в немецкий словарный запас, чтобы описать худшие случаи », - пишет Скотт, политолог и антрополог Скотт.
Бюрократия использует измерения для оптимизации и перестройки мира вокруг них. Чтобы эти измерения были эффективными, они должны проводиться в подразделениях как можно более актуальным для условий на местах. Местные жители, которые ежедневно использовали эти немецкие леса, перечислили бы много важных элементов за пределами объема урожая пиломатериалов. Эти детали, с точки зрения эффективного управления сложной системой, гораздо важнее, чем универсальная стандартизация высокого уровня, которую может быстро взглянуть каждый в бюрократии.
К сожалению, эта одержимость «разборчивостью», концепция, которую Скотт идентифицирует как «центральную проблему в государственном управлении», сопровождала правительства по мере их развития в цифровую эру. Книга Джо ФлуаПожарыРассказывает историю волны разрушения, которая опустошила район Южного Бронкса в Нью -Йорке в 1970 -х годах. Сорок четыре различных трактата переписи в этом районе, в котором в предыдущие десятилетия приток чернокожих и латиноамериканцев потерял более половины своего жилищного фонда из-за пожаров и оставлений в течение десятилетия; Семь трактатов потеряли почти все. К 1977 году более 2000 квадратных блоков были опустошены, а четверть миллиона человек были вывихнуты из района.
То, как запомнилось опустошение, имело тенденцию к политической ориентации людей. Либералы сказали, что это были жадные арендодатели, сжигающие свои здания, чтобы собрать страховые деньги. Консерваторы сказали, что неблагодарные арендаторы программ государственного жилья устанавливают пожары.
На самом деле это была лесная смерть снова и снова. Пожарная служба закрепила менее 7 процентов всплесков поджога, а те, которые происходили в основном в заброшенных зданиях, без платы арендаторов.
Важным фактором был алгоритм. Нью-Йорк использовал компьютерную программу, разработанную Rand Corporation, калифорнийским аналитическим центром, известным в военном консалтинге, чтобы найти экономию средств, определив, какие пожарные станции могут быть закрыты без существенного уменьшения пожарной охраны города.
«Убедившись в том, что их статистическая подготовка превзошла практический опыт ветеранов пожарных, аналитики RAND потратили годы, создавая компьютерные модели, которые, по их мнению, могли точно предсказать модели пожаров и эффективно реструктурировать департамент на основе этих моделей»,-пишет Флуд. «Модели были глубоко ошибочны-нажимая занятые пожарные компании по гетто и открывая новые подразделения в сонных районах в пригородном стиле,-но они извлекли выгоду из блеска всеведения, исходящего от кружащихся суперкомпьютеров и доктора философии».
В то время как пожарные ранее были оценены по статистике, такой как количество погибших или в долларовой фигуре повреждения имущества, модели Рэнда, которые тогда были одними из самых сложных в мире, сжали сложность борьбы с пожарами до множества показателей, ориентированных на время между пожарной компанией о пожаре и когда на сцене прибыла пожарная машина.
Но время отклика скрыто так же сильно, как это показало. Были факторы, которые он не учитывал: пожарные выясняют, в каком здании находится огонь, и как его войти, спасая жертв, застрявшие внутрь или выполняли упреждающие патрули, чтобы убедиться, что пожарные гидранты функционируют, как и должны.
Время отклика было прокси для того, что Рэнд действительно пытался измерить: насколько эффективна пожарная станция, быстро выпустив близлежащие пожары. Аналогичный центр мог оптимизировать для времени отклика все, что он хотел, но были и другие ограничивающие факторы в процессе пожаротушения, который он не измерял. В результате алгоритм Рэнда пропустил критические аспекты эффективного пожаротушения, которые произошли между выходом в огонь и выпуском.
Система Рэнда неправильно настаивала на том, что закрытие 34 самых оживленных пожарных станций города, многие из Южных Бронкса, не приведут к значительно худшим результатам. Когда алгоритм предложил закрыть станцию в районе с политически влиятельными жителями, лица, принимающие решения департамента, часто пропускают прямо над ней, чтобы избежать жесткой политической борьбы, вытягивая еще большую пожарную способность из областей, уже пораженных закрытием, возникающие в результате рекомендации системы Рэнд.
Профсоюзы, представляющие пожарных, подали в суд на город, настаивая на том, что сокращения были расово мотивированы. В руках, с множеством данных, поставляемых с Рэндами, суды бросили иск, утверждая, что решения были определены на холодных, жестких числах, а не мелких предрассудках человека.
Высокотехнологичные компьютерные системы могут отражать ошибки людей, которые их спроектировали, но эта идея скрыта, потому что алгоритмы систем не имеют никакого агентства. «Это одна из проблем с технократией», - сказал Флуд в интервью с разметкой. «Это не хочет быть ответственным. Он хочет делать расчеты, запускать экспертные системы, а затем Steamroll. Он не любит думать о проблемах реализации».
Эффект водопада
ПроизволВидеть как государствона двух уровнях одновременно. Во -первых, правительство, ищет объективную оценку, попыталось упростить городские пожары в набор переменных, которые любой в этой бюрократии мог бы понять, и, при необходимости, оправдать. Во-вторых, алгоритм Рэнда проходил этот тот же процесс-манипулировал измерениями, выброшенным из их реального контекста и подталкивающим их, хотя и цифровая бюрократия, сделанная из них и нулей.
Смартфон, на котором вы читаете эту статью, потягивая свой утренний кофе (или, может быть, вы сидите в туалете, без суждения, просто счастливы, что вы читаете), имеет гораздо большую вычислительную мощность, чем мэйнфреймы, которые управляли алгоритмом пожарной борьбы Рэнда 1970 -х годов. Но проблемы Ранда воплощены-стремление к высокоуровневой институциональной ясности, подавляющей мелкозернистые местные знания, основанные на контексте-ухудшилось только хуже.
В конечностях новой книги Дженнифер ПалькаПерекодирование Америки, Основатель Кодекса для Америки и бывший заместитель главного директора США.Видеть как государствоКак книга для чтения, если вы хотите лучше понять, как функционирует бюрократия. (Полное раскрытие: Pahlka - этодонорк разметке.)Перекодирование АмерикиРассказывание времен она помогла исправить технологические проекты Flailing правительства, является трактатом о том, как институциональная тенденция навязывать жесткую разборчивость за счет более полезных местных знаний также существует в самих организациях. Если вы когда -либо проклялись в разочаровании, используя правительственный веб -сайт,Перекодирование Америкиобъясняет, почему это было так построено.
Pahlka создает проблему, противопоставляя два различных метода построения программного обеспечения: разработка водопада и гибкая разработка.
Развитие водопада, которое, как утверждает Пахлька, является дефолтом в правительстве, работает тем, кто отвечает за усилия, указав цель того, что должно делать программное обеспечение и когда оно должно быть доставлено. Оттуда все в проекте работают, чтобы приблизиться к этому первоначальному дизайну до крайнего срока.
Внутри правительства вершина водопада - это политика, созданная законодателями, а затем интерпретируется регулирующими органами. По опыту Pahlka, когда политика включает в себя создание технологического продукта, такого как веб -сайт или приложение, существует множество метрик для сбора и тестов, которые можно получить по мере его создания. Каждый из этих показателей обычно существует, чтобы убедиться, что люди, которые находятся дальше по водопаду, - те, кто действительно выполняет работу, - делают то, что должны.
В действительности это часто являются случайными деталями процесса (например, время отклика на огонь), сидящими слева от реального вопроса (например, на самом деле выпускать огонь), который обычно не отслеживается. Для правительственных технических проектов ключевой показатель должен быть: работает ли чертовски для людей, использующих его?
Pahlka рассказывает о работе над проектом, улучшающим систему управления преимуществами ветеранов - базу данных файлов претензий по инвалидности, в основном на сборе сканированных форм, которая была болезненно медленной для работы. Она была привлечена, чтобы уменьшить задержку базы данных, скорость, с которой нагружается каждая страница. Но вскоре после того, как она начала работать над проблемой, ей сказали, что ее услуги не нужны; Проблема была решена. Чиновники агентства просто пересмотрели «неприемлемую задержку», чтобы означать, когда страница потребовалось больше, чем две минуты, чтобы загрузить.
Система не была более полезной в любом случае, что имело значение. Измерения были просто гамедом, чтобы скрыть реальность на местах, потому что бюрократия была принципиально ограничена тем, как она смогла смотреть и определить проблему.
Пример нелепо, но стоит подчеркнуть, что для игры имело смысл для игры, потому что задержка оценивалась независимо от цели системы в целом: чтобы помочь ветеранам получить своевременный доступ к своим преимуществам. Отключенные от этой высокоуровневой ориентации, измерения индивидуальных процессов могут легко стать безрассудными.
Ирония заключается в том, что, когда Палька спросила реальных инженеров, которые работали над базой данных для идей о том, как ее улучшить, у них было множество отличных предложений. Они просто чувствовали, что улучшение этих систем не было частью их работы. У них были критические локальные знания о том, как функционировала база данных, но не имела возможности использовать ее каким -либо образом, что имело значение, потому что они находились на дне водопада.
Принимая во внимание, что Скотт в конце концов взял свои идеи о бюрократиидве трети пути к тому, чтобы стать анархистом, Решение Пашки отличается. Она выступает за другой метод разработки программного обеспечения, который называется «Agile», который был впервые подробно описан в 2001 году.манифестПолем
Идея Agile Development состоит в том, что - в том, чтобы начать с очень предписывающего плана для того, что вы собираетесь строить и тесно работать с этими спецификациями, - команда должна начать с проблемы для решения. Оттуда они должны сделать итерации рабочих версий программы, которые постепенно становятся лучше со временем до ее выхода. Ключ - это непрерывная петля обратной связи с пользователями. Программное обеспечение проверяется с людьми, которые будут его использовать, и их обратная связь используется для создания того, что они находят полезным, даже если оно противоречит метрикам, которые имели в виду первоначальные дизайнеры программы.
В интервью с разметкой Палька сказала, что послание, которое она часто дает политикам, заинтересованным в повышении эффективности их технологий, заключается в том, чтобы привлечь перспективы проектирования и использования программы: ремесленная политика, что дает людям наиболее местные знания, чтобы они могли учиться, когда они строят и включают свои уроки в все, что они создают.
«Когда я разговариваю с [политиками], они просто как, здесь, напишу этот счет», - сказала она. «И это похоже на то, что если вы это понимаете, то вы дадите им больше гибкости, вы бы провели с ними в диалоге вместо того, чтобы просто дать им эти директивы».
Весь этот ход мыслей - от леса до пожаров до водопада - это то, с чем я сталкиваюсь все время, сообщая об алгоритмах на размере. Недавно я опубликовал историю, оценивающую точность программы прогнозирующей полицейской деятельности, используемой в Плейнфилде, штат Нью -Джерси, и обнаружил, что ее прогнозы выровняются с тем, где были зарегистрированы преступленияменее одного процента времениПолем
Алгоритм взял данные о том, где и когда преступления произошли в прошлом, и это то, для чего он оптимизирован. Но это не учитывало, что делать 80 прогнозов в день в городе с небольшим преступлением не поможет офицерам предотвратить преступление; Это просто сокрушило их с бесполезными данными. Местная полиция знала, где обычно сгруппируются преступления. Показываясь с программным обеспечением, департамент решил, что это не полезно, и, по крайней мере, в интервью с разметкой настаивал на том, что они перестали его использовать.
Урок здесь, в конечном счете, заключается в том, что если вы когда -нибудь почувствуете желание измерить лес, знайте, что в некотором смысле стремление обречено на неудачу, особенно если вы сузите его сложность до простого подсчета деревьев. Но для учреждений, начиная от чудовищности правительства Соединенных Штатов до небольшой компьютерной программы, которую вы взломаете вместе, выгода от правильного дела может все еще стоить усилий. Просто нужно немного смирения, чтобы поднять ухо как можно ближе к земле и послушать.
Кредиты
- Аарон Санкин, Расследовательский репортер
Редактирование
- Майкл Рейли
- Су
Копия редактирования
- Эмерсон Мэлоун
Дизайн
- Габриэль Хонгсдусит
Обручение
- Мария Пуэртас
Также опубликованоздесь
ФотоGoogle DeepMindнаНеспособный
Оригинал