Мы обнаружили расхождения в интернет-сделках: вот как мы это сделали
23 марта 2023 г.Как стало до боли очевидным, когда начались ограничения из-за пандемии, сегодня необходим быстрый и надежный интернет-сервис. опрос, опубликованный Pew в прошлом году, показал, что 90 процентов Американцы заявили, что во время пандемии Интернет был необходим или важен для их жизни.
Тем не менее, варианты высокоскоростного доступа в Интернет, предлагаемые интернет-провайдером, могут различаться — даже в зависимости от района в пределах города — частично в зависимости от того, как и где он решил модернизировать свою физическую инфраструктуру.
Посмотрите наши данные здесь.
Домам в районах с новой современной инфраструктурой предлагается скорость загрузки данных 200 и более мегабит в секунду (Мбит/с) (в нашем анализе мы называем это "молниеносной скоростью").
Районам, где интернет-провайдеры пренебрегли модернизацией, предлагаются услуги, которые не соответствуют определению FCC «широкополосного доступа», со скоростью загрузки данных менее 25 Мбит/с (в нашем анализе мы называем это «медленным» сервисом).
Эталон скорости интернета постоянно меняется: агентство объявило ранее об этом. году, когда он рассматривает возможность повышения минимальной скорости широкополосного доступа до 100 Мбит/с.
Недавние исследования, проведенные активистами и учеными, выявили цифровой разрыв в области высокоскоростного Интернета между частями крупных американских городов, где интернет-провайдеры модернизировали инфраструктуру (часто богатыми и преимущественно белыми), и часто более бедными, преимущественно цветными сообществами, где они этого не сделали. сделал апгрейды.
Неравенство в развертывании было выявлено в Лос-Анджелес. Анджелес, Кливленд, Дейтон, Детройт и Толедо, а также для всего общенациональные следы как AT&T, так и CenturyLink.
Некоторые из этих работ назвали это разделение «цифровой красной чертой», имея в виду карты, составленные спонсируемой федеральным правительством организацией в 1930-х годах, чтобы отличить районы, которые были безопасны для инвестиций финансовых учреждений, и те, которые не были безопасными.
На этих картах «жилой безопасности», которые были опубликованы Home Owners Loan Corporation (HOLC) и разработаны при участии местных агентов по недвижимости, районы с «лучшим» рейтингом были окрашены в зеленый цвет; худшие были оценены как «опасные» и окрашены в красный цвет.
Домам в красных, «опасных» районах часто отказывали в ипотеке, отсюда и идея о том, что некоторые районы были «красными». Эти оценки были явно основаны на расовом и имущественном составе жителей каждого района, среди других факторов.
Даже сегодня жители районов, исторически отмеченных красной чертой, подвергаются более высокому уровню вреда, начиная от астмы до огнестрельных ранений.
В длинном комментарии, представленном в FCC ранее в этом году как часть процесса нормотворчества агентства по инициативе цифровой дискриминации, AT&T отказалась от достоверности и выводов большей части этого исследования. В некоторых случаях компания атаковала лежащие в их основе методологии.
AT&T вызвала исследование, проведенное организацией Communication Workers of America, которая представляет сотрудников телекоммуникационных компаний (полное раскрытие информации: CWA является материнским профсоюзом The NewsGuild-CWA, представляющей сотрудников The Markup), корыстным с момента любого последующего расширения широкополосной связи. устранение неравенства означало бы больше работы для его участников.
Наш анализ отличается от предыдущей работы тем, что мы изучаем цены в сочетании со скоростью и демографическими характеристиками областей, в которых предлагается одинаковая цена за худшее обслуживание (ниже 25 Мбит/с) — мы называем это «наихудшими предложениями».
Мы также изучаем, касаются ли эти сделки более бедных сообществ, цветных сообществ и исторически отмеченных красными чертами районов.
В отчете за 2018 г. Группа по защите интересов National Digital Inclusion Alliance (NDIA) обвинила AT&T и Verizon в том, что они практикуют взимание одной и той же базовой цены за различные скорости на основе маркетинговых материалов компаний, что авторы назвали «выравниванием уровней». /p>
Наша работа пошла глубже, мы собрали и изучили 1,1 миллиона реальных предложений услуг, сделанных перевозчиками.
Мы обнаружили, что не только безудержное выравнивание уровней, но и, в сочетании с несправедливым расширением, приводит к тому, что людям, которые меньше всего могут позволить себе интернет-услуги, предлагается значительно более низкое качество интернета, чем другим людям, живущим в том же городе, за те же деньги. цена.
Наш метод исследования основан на принстонском исследовании 2020 года, опубликованном в Протоколы ACM Internet Measurement Conference, в которых использовался часто упускаемый из виду источник информации, "инструменты доступности широкополосной связи" с собственных веб-сайтов интернет-провайдеров, чтобы показать, что компании преувеличение для FCC, где они предлагали услуги, особенно в сельской местности и районах, где живут цветные люди.
(Большая часть предыдущих исследований доступа в Интернет опиралась на данные, собранные Федеральной комиссией по связи, которые не являются надежными. См. Ограничения: FCC Form 477 для более подробной информации_._)
Вместо того чтобы сосредотачиваться на доступности, мы использовали те же инструменты поиска для сбора подробной информации о тарифных планах интернета, предлагаемых интернет-провайдерами для отдельных адресов.
Это позволило нам объединить информацию о цене и предлагаемой скорости с социально-экономическими данными окрестностей и проверить закономерности среди потребителей, получающих наихудшую цену за ту же ежемесячную плату.
(Обратите внимание, что у нас был доступ только к скорости, предлагаемой компаниями на их веб-сайтах, которая, как правило, выше, чем фактическая скорость, которую получают клиенты.)
Мы провели анализ крупнейших интернет-провайдеров страны, которые, по-видимому, практикуют выравнивание уровней на основе ранней ручной проверки адресов в инструментах поиска: AT&T, Verizon, EarthLink и CenturyLink. (См. Выбор интернет-провайдера для более подробной информации.)
Опираясь на исследование 2020 года, опубликованное исследователями из Принстона, мы обнаружили и использовали лежащий в его основе API инструмента поиска каждого интернет-провайдера, что позволяет нам выполнять поиск по огромному количеству адресов в любом масштабе. (См. Сбор данных для более подробной информации.)
В период с 15 апреля по 1 октября 2022 г. мы собрали интернет-предложения от AT&T, Verizon, EarthLink и CenturyLink для 1,1 миллиона адресов проживания в США в 45 городах, которые мы собрали из открытых источников. (См. Сбор данных: получение Адреса для более подробной информации.)
Мы сосредоточились на крупнейшем городе, который обслуживает хотя бы один из четырех интернет-провайдеров в каждом штате.
Мы ограничили наш анализ крупными городами, а не сельскими районами, потому что хотели изучить районы, где стоимость и сложность развертывания широкополосной технологии не зависят от чрезвычайно низкой плотности населения и где колебания скорости были в непосредственной близости.
Во многих случаях различия в скорости при одной и той же цене были экстремальными. CenturyLink предлагал скорость интернета от 0,5 Мбит/с до 200 Мбит/с в пределах одного города за 50 долларов в месяц. В результате стоимость предлагаемого Мбит/с варьировалась от более чем 100 долларов США за Мбит/с до 25 центов за Мбит/с.
Потребителей, получивших «худшие предложения» (опять же, мы определяем их как предложения с низкими скоростями, ниже 25 Мбит/с по тому же тарифу), просили платить значительно больше, чем другим, за каждый Мбит/с Интернета.
Мы использовали данные группы кварталов переписи населения и исторические карты красной черты, если они были доступны, для определения социально-экономических характеристик районов, которым непропорционально часто предлагались наихудшие предложения.
Для этого мы сгруппировали адреса по среднему доходу в их районе, расовой/этнической демографии и оценкам красной черты, чтобы сравнить долю медленных скоростей, предлагаемых каждой из этих групп для каждого города и интернет-провайдера.
В городах, где провайдеры предлагали разные скорости в разных районах, жители, живущие в районах, которые непропорционально получали худшие предложения, были с низким доходом (92 процента городов) и цветными людьми (66 процентов городов), а их районы исторически были отмечены красной чертой. (100 процентов из 22 городов в наших данных, где были доступны цифровые карты).
Более богатые, белые и не отмеченные красной чертой районы чаще предлагали более высокие скорости по той же цене. Во всех городах, кроме двух (36 из 38), которые мы исследовали, мы обнаружили по крайней мере один из этих трех видов несоответствий, которые привели к тому, что неблагополучные районы непропорционально получали худшие предложения.
(В двух других городах, Бойсе, штат Айдахо, и Фарго, штат Северная Дакота, мы смогли провести только сравнение доходов из-за отсутствия оцифрованных данных с красной чертой и отсутствия расового/этнического разнообразия.)
Проще говоря, мы обнаружили, что эти провайдеры предлагают худшие предложения людям, которые больше всего нуждаются в доступных ценах за высококачественный высокоскоростной доступ в Интернет.
Кроме того, мы провели логистическую регрессию, чтобы определить, повлияли ли бизнес-факторы, такие как конкуренция и принятие клиентов (объяснения, которые, по словам интернет-провайдеров, играют роль в том, где они выбирают обновление оборудования), на различия в том, кто получил худшие предложения.
Даже после поправки на эти факторы в подавляющем большинстве исследованных нами городов районы с низким доходом, наименее белыми и исторически отмеченными красной чертой по-прежнему получали худшие предложения чаще, чем более белые, богатые и исторически не отмеченные красной чертой районы.
(См. Анализ: логистическая регрессия для корректировки пропорций медленной скорости для более подробной информации.)
Методология
Выбор интернет-провайдера
Мы сосредоточили наше исследование на проводных услугах (таких как DSL, оптоволокно, кабель), исключив спутниковые и фиксированные беспроводные интернет-услуги. (Услуги фиксированного беспроводного доступа в Интернет используют антенну или тарелку для приема волн вещания с вышки и включают в себя Интернет 5G от операторов мобильной связи.)
Сторонники доступности Интернета в подавляющем большинстве считают высокоскоростные проводные варианты, также известные как оптоволокно, превосходящими другие формы интернет-услуг, а также программу федерального правительства по широкополосному доступу, доступу и развертыванию отдает приоритет финансированию проектов высокоскоростного оптоволокна.
(Недавний отчет благотворительного фонда Benton Institute, работающего над расширением доступа в Интернет, показал, что «технологии фиксированной беспроводной связи… не будет соответствовать производительности волоконно-оптических сетей, в первую очередь потому, что существующая и потенциальная пропускная способность оптоволоконных сетей в тысячи раз выше, чем у беспроводных».
Затем мы определили интернет-провайдеров, предлагающих наземное покрытие наибольшему проценту населения США из анализ, основанный на данных FCC, проведенных отраслевым новостным сайтом FierceTelecom. В этот список вошли AT&T, Comcast, Charter, Verizon и Lumen.
Используя карту широкополосного доступа Федеральной комиссии по связи США, которая объединяет и визуализирует обязательные отчеты интернет-провайдеров об их предложениях по блок-группам переписи населения, мы случайным образом определили 10 городов. где каждый из этих интернет-провайдеров предлагал услуги и вручную вводил 10 случайных адресов, определенных с помощью Google Maps, в инструменты поиска доступности услуг интернет-провайдеров, чтобы увидеть, взимают ли они одинаковую сумму денег за разную скорость интернета в одном и том же городе.
Из них мы обнаружили, что AT&T, Verizon и Lumen (которым принадлежит CenturyLink) используют эту практику ценообразования.
Компания Charter предлагала некоторым адресам различные скорости интернета по одной и той же цене, но все скорости относились к категории «молниеносной скорости». Поэтому мы решили исключить Хартию из нашего анализа.
В недавнем отчете Калифорнийского фонда сообщества и Digital Equity Los Angeles проанализированы чартерные предложения. на 165 жилых адресов в районе Лос-Анджелеса и обнаружил, что лучшие предложения с более высокими скоростями и более низкими ценами, как правило, идут в самые богатые районы.
В электронном письме в Los Angeles Times Чартер отклонил отчет как «преднамеренно вводящий в заблуждение».
Компания Comcast не предлагала разные скорости по одной и той же цене, поэтому мы также исключили ее из нашего анализа.
Эти результаты согласуются с тем, что сообщили нам в интервью авторы отчета NDIA, который впервые выявил выравнивание уровней: компании, предлагающие услуги DSL по телефонным линиям, изначально построенным для технические причины, связанные с инфраструктурой.
Мы просмотрели список лучших провайдеров DSL в США, составленный BroadbandNow. Earthlink указан как провайдер номер два в округе.
Earthlink не указан на карте широкополосного доступа FCC, поэтому мы случайным образом выбрали города для тестирования на основе маркетинговых материалов, перечисленных на веб-сайте компании.
Сбор данных
В нашем исследовании наша выборка состоит из предложений, которые AT&T, Verizon, CenturyLink и EarthLink предоставили адресам в самом густонаселенном городе в каждом штате, обслуживаемом по крайней мере одним из четырех крупных интернет-провайдеров.
Эти четыре компании предлагают услуги в 45 штатах и Вашингтоне, округ Колумбия, согласно отчетам за декабрь 2020 г. FCC для AT&T, CenturyLink и Verizon, а также ручная проверка доступности EarthLink на собственном веб-сайте.
(Поскольку EarthLink арендует инфраструктуру у других операторов связи, не требуется сообщать эту информацию в FCC.)
CenturyLink предоставляет услуги по крайней мере некоторой части населения в 36 штатах, EarthLink в 35, AT&T в 21 и Verizon в 11. (См. некоторые ограничения для этого источника данных в Ограничения: форма 477 FCC.)
Единственными штатами, не обслуживаемыми ни одной из четырех компаний, являются Аляска, Гавайи, Нью-Гэмпшир, Вермонт и Мэн.
Получение адресов
Мы использовали два набора данных с открытым исходным кодом, чтобы собрать более 12 миллионов адресов.
Основным источником был OpenAddresses, проект, который собирает адреса улиц из нефедеральных официальных источников, таких как правительства городов и штатов, включая координаты широты и долготы, для всех городов, кроме Нью-Йорка.
Для адресов там мы использовали набор данных из NYC Open Data. (См. Ограничения: Проверка полноты в наборах данных адресов с открытым исходным кодом для более подробной информации.)
Для каждого адреса мы определили как его переписную блочную группу, так и то, находится ли он в черте города, вставив его координаты в API геокодера Census.gov.
Этот подход более надежен, чем зависимость от почтовых индексов или названий городов, многие из которых отсутствовали в используемых нами открытых данных.
Блочные группы — это наименьшая географическая единица в исследовании американского сообщества, а их население варьируется от 600–3000 человек.
Сбор данных из инструментов поиска
Для каждого города и интернет-провайдера мы просмотрели каждую группу блоков переписи и взяли случайную 10-процентную выборку из собранных нами адресов (так называемая стратифицированная выборка).
Если инструмент поиска сообщал нам, что адрес не обслуживался или недействителен, мы продолжали поиск новых адресов, пока не достигали 10-процентной выборки каждой группы блоков.
Вот как мы собрали репрезентативную выборку предложений (скорость и цена) для каждого города и интернет-провайдера в нашем исследовании.
Изображение экрана, на котором показан поиск интернет-предложений от AT&T с использованием автоматизированного инструмента.
Запись экрана поиска предложений по адресу с помощью инструмента поиска доступности AT&T. Мы автоматизировали этот процесс, используя базовые API, которые мы обнаружили и использовали. Мы сосредоточились на самом дешевом плане, который также был базовым планом.
Мы смоделировали наш метод сбора данных на основе исследования 2020 года, опубликованного тремя исследователями из Принстона, которое показало, что интернет-провайдеры значительно завышают доступность , скорость и конкуренция их услуг с FCC.
Использование их методов позволило нам обнаружить и использовать базовый API каждого инструмента поиска, что позволило нам искать адреса в масштабе.
Чтобы предотвратить перегрузку серверов интернет-провайдеров или отклонение наших запросов, запросы задерживались и направлялись через сеть резидентных IP-адресов, предоставленных The Markup Bright Initiative, некоммерческое подразделение коммерческой организации Bright Data (до недавнего времени называвшейся Luminati), которое предоставляет некоммерческим и академическим учреждениям бесплатный доступ к инструментам для очистки общедоступных источников данных.
Это та же компания, которой пользуются принстонские исследователи для этой цели.
Для многоквартирных домов мы запросили информацию о скорости и цене только для одной единицы на адрес. Мы выбрали первую единицу, рекомендованную системой завершения адресов каждого интернет-провайдера.
Мы создали четыре парсера для проверки данных о предложениях (наличие, скорость и цена) для 456 134 адресов с AT&T, 312 357 адресов с Verizon, 245 139 адресов с CenturyLink и 593 334 адресов с EarthLink.
Мы собрали данные для всех городов, кроме двух, в период с 15 апреля по 25 мая 2022 г.; мы собрали данные по Колумбусу, штат Огайо, и Нэшвиллу, штат Теннеси, в период с 26 сентября по 1 октября 2022 года из-за ошибки при выборе города для этих двух штатов.
Нам не удалось проверить, что каждый адрес, который мы использовали, был адресом проживания; тем не менее, мы предприняли шаги, чтобы гарантировать, что мы не собираем интернет-планы для предприятий, приняв следующие меры предосторожности:
* AT&T: API требует определенного аргумента ("customerType": "business"), который мы не использовали, для поиска интернет-планов для бизнеса.
* Verizon. Система заполнения адресов API указывает, является ли адрес жилым или нет. Мы собирали предложения только для адресов, которые система Verizon предположила как жилые.
* CenturyLink: тарифные планы «Интернет для бизнеса» доступны только по телефону, а не с помощью инструмента поиска, который мы использовали для сбора данных.
* EarthLink. Как и в случае с AT&T, для поиска предложений по бизнес-плану требуется определенный аргумент API.
В общей сложности мы создали набор данных из 1 606 964 запросов предложений от четырех интернет-провайдеров и 45 городов во всех штатах США, кроме Аляски, Гавайев, Нью-Гэмпшира, Вермонта и Мэна.
Категоризация
В ходе нашего исследования мы использовали схемы категоризации, чтобы сгруппировать интернет-предложения по скорости, а также по расовому и этническому происхождению, доходу и историческим оценкам HOLC.
Скорости
Из 1,6 миллиона запросов, которые мы собрали, 455 534 соответствовали адресу, который не обслуживался провайдером. Это оставило нам 1 151 430 фактических предложений для интернет-планов.
Если на адрес поступило несколько предложений, мы сосредоточились на самом дешевом (базовом предложении), которое стоит столько же, сколько и все другие адреса, обслуживаемые этим интернет-провайдером в городе.
За исключением EarthLink, провайдеры не предлагали повышения скорости по сравнению с более медленными тарифными планами, а только для тарифных планов, которые уже относились к категории быстрых.
Мы сгруппировали предложения загрузки по четырем категориям скорости. Наше исследование сосредоточено на скорости загрузки, потому что интернет-планы в основном перечислены по скорости загрузки.
(Скорости загрузки и выгрузки, перечисленные для всех предложений, общедоступны на нашем GitHub.) Важно отметить, что скорости в нашем расследовании — скорости, которые интернет-провайдеры заявляют в своих предложениях.
Мы не проверяли эти утверждения.
Наши категории:
- Медленно: скорость скачивания ниже 25 Мбит/с. Эти скорости ниже минимального порога для текущего определения «широкополосного» интернета. Поскольку все другие базовые скорости стоят столько же, сколько и этот уровень обслуживания, мы считаем, что скорости в этом диапазоне являются одними из худших предложений для тарифных планов интернет-услуг.
* Умеренный: от 25 и менее 100 Мбит/с. Эти скорости не будут квалифицироваться как «высокоскоростной интернет», как это определено Министерством сельского хозяйства США в его Re: Connect программа займов и грантов для субсидирования интернет-инфраструктуры или удовлетворения новых предложил определение того, что представляет собой широкополосное соединение.
* Быстро: от 100 до 200 Мбит/с или выше. По данным группы по защите интересов образования Common Sense Media.
* Пылающий: со скоростью загрузки 200 Мбит/с или выше. Эти скорости признаны некоммерческой организацией Common Sense Media, занимающейся защитой интересов образования, как рекомендуемые для домашнего хозяйства, чтобы поддерживать несколько одновременных потоков видеоконференций для виртуального обучения с минимальными перерывами.
Доход
Мы собрали медианные доходы блочных групп за пятилетний период 2019 года. Опрос американского сообщества, самый последний и надежный социально-экономические данные. Хотя данные за 2020 г. были доступны, пандемия COVID-19 значительно уменьшение ответов на опрос, что делает результаты нерепрезентативными.
(Бюро переписи не публикует данные ни об отдельных домохозяйствах, ни о кварталах переписи, географические единицы которых состоят из квартальных групп.)
В каждом городе мы классифицировали адреса по доходу с использованием квартилей («нижний», «средний-нижний», «средний-верхний», «верхний») на основе среднего дохода домохозяйства в блок-группе адреса. Мы использовали квартили для аппроксимации одинакового количества адресов в каждой категории.
В тех случаях, когда так много адресов имели одинаковое значение, что пересекали границу квартиля, мы перемещали границу квартиля чуть ниже этого значения, чтобы адреса с этим значением относились только к одному квартилю.
Если в опросе американского сообщества не было оценки среднего дохода домохозяйства, мы не анализировали эту блок-группу на предмет различий в доходах.
Раса и этническая принадлежность
В каждом городе мы классифицировали адреса по расе и этнической принадлежности с использованием квартилей ( «наименее белый», «менее белый», «более белый», «самый белый») на основе процентной доли жителей, идентифицирующих себя как неиспаноязычных белых в блок-группе адреса.
Как и в случае с доходом, мы получили эти данные из пятилетнего опроса американского сообщества 2019 года.
Квартиль, помеченный как «наименее белый», представляет наибольшую концентрацию цветных людей в городе, тогда как квартиль, помеченный как «наиболее белый», представляет наибольшую концентрацию белых людей в городе.
(См. Ограничения: Различные системы категоризации для других систем категоризации, которые мы рассмотрели для дохода, расы и этнической принадлежности.)
Помеченные области
Фраза «красная черта» связана с областями с рейтингом D, которые HOLC считает слишком «опасными» для получения кредитов. HOLC присвоил большинству домохозяйств рейтинг C или «ухудшение».
Меньше домов было в «желательных» районах с оценкой B, и еще меньше домов было в «лучших» районах с оценкой A. Оценки A и B часто предназначались для богатых белых кварталов.
Мы объединили оценки HOLC с адресами, проверив, попадали ли координаты адреса в границы оцениваемых областей, к которым у нас был доступ. Оцифрованные карты не включают все карты, созданные HOLC, поскольку некоторые из них никогда не оцифровывались исследователями из Mapping Inequality.
Кроме того, некоторые города в наших данных никогда не были нанесены на карту HOLC. В результате у нас есть карты только для 22 городов. Кроме того, рост города за десятилетия после того, как красная черта была объявлена вне закона федеральным законом о справедливом жилищном обеспечении в 1968 году, означает, что некоторые части городов не включены в карты.
Анализ
Обзор AT&T
Мы провели поиск по 432 303 адресам в 20 городах с помощью инструмента поиска AT&T и собрали результаты. Мы обнаружили, что 19% адресов в целом не обслуживались AT&T. Пробелы в обслуживании были самыми большими в Новом Орлеане (51 процент), Чикаго (31 процент) и Хантсвилле, штат Алабама (28 процентов).
Интернет-провайдеры не заявляют, что Федеральная комиссия связи США обслуживает каждую группу блоков или адрес в городе.
После фильтрации адресов без обслуживания мы проанализировали полученные 349 703 интернет-предложения AT&T для адресов в 20 городах.
Компания предлагала разные скорости для разных областей, от медленной до молниеносной в каждом городе. Стоимость этих начальных планов оставалась неизменной независимо от уровня обслуживания: 55 долларов США в месяц.
AT&T предоставила возможность платить за более высокие скорости только тем домохозяйствам, где начальное предложение уже составляло 200 Мбит/с или более ("молниеносно быстрые" скорости). Никаким другим адресам не предлагалась возможность обновления службы.
Когда мы стандартизировали цену за каждый Мбит/с услуги, мы обнаружили, что AT&T предлагает потребителям тарифы в диапазоне от 71,61 доллара за Мбит/с (для скорости 0,768 Мбит/с) до 18 центов за Мбит/с (для скорости 300 Мбит/с), что означает, что некоторые клиенты были просят платить в 398 раз больше, чем другие, за Мбит/с.
Обзор CenturyLink
Мы провели поиск по 186 611 адресам в 15 городах с помощью инструмента поиска CenturyLink. Мы обнаружили, что 4 процента адресов в целом не обслуживались CenturyLink. Чаще всего это происходило в Омахе (14 процентов) и Лас-Вегасе (12 процентов).
Интернет-провайдеры не претендуют на то, чтобы FCC обслуживала все адреса в городе.
Мы проанализировали полученные 180 067 предложений. Как и у AT&T, предложение CenturyLink по скорости варьировалось в зависимости от региона, но цена оставалась неизменной независимо от скорости: 50 долларов США в месяц.
Как и AT&T, CenturyLink предоставила возможность платить за более высокую скорость только тем домохозяйствам, где начальное предложение уже составляло 200 Мбит/с или более («молниеносная скорость»).
Когда мы стандартизировали цену за каждый Мбит/с услуги, мы обнаружили, что CenturyLink предлагает потребителям тарифы в диапазоне от 100 долларов за Мбит/с (для скорости 0,5 Мбит/с) до 25 центов за Мбит/с (для скорости 200 Мбит/с). платите в 400 раз больше, чем другие, за Мбит/с.
Обзор Verizon
Мы нашли 282 622 адреса в девяти городах с помощью инструмента поиска Verizon.
Мы обнаружили, что 21% домохозяйств не обслуживались Verizon. Больше всего это произошло в Уилмингтоне, штат Делавэр, где не обслуживались 67 процентов адресов, и в Нью-Йорке, где не обслуживались 30 процентов адресов.
Интернет-провайдеры не претендуют на то, чтобы FCC обслуживала все адреса в городе.
В пяти городах скорость, предлагаемая Verizon, была практически одинаковой (с одинаковыми скоростями базового плана не менее чем для 95 % адресов, получающих предложения). Возьмем, к примеру, Балтимор, где 99% предложений приходилось на медленные скорости.
Активисты города, одна пятая жителей которого живет в бедности, обеспокоены отсутствием Verizon FiOS пожаловался уже более десяти лет. Противоположная тенденция наблюдается в Нью-Йорке, где 99 процентов базовых предложений касались молниеносных скоростей.
Мы исключили эти два города, а также Филадельфию, Бостон и Провиденс из нашего социально-экономического анализа предложений Verizon, потому что они не содержат достаточного количества вариаций, чтобы обнаружить значимые различия.
Кроме того, из-за большого количества адресов, которые не обслуживались Verizon в Уилмингтоне, мы смогли собрать только 825 предложений. Мы удалили этот город из дальнейшего анализа, поскольку размер выборки был слишком мал.
Мы проанализировали полученные 32 886 адресов в трех городах. Стартовая ставка для интернет-планов составляла 40 долларов. Однако иногда это было 50 долларов. Мы предполагаем, что это результат тестирования цен, так как рост цен не был связан со скоростью.
(См. Ограничения: Ответы инструментов поиска для более подробной информации.)
Как и в случае с AT&T и CenturyLink, Verizon предоставила возможность платить за более высокую скорость только тем домохозяйствам, где базовое предложение составляло 200 Мбит/с или выше («молниеносно быстро»).
Когда мы стандартизировали цену за каждый Мбит/с услуги, мы обнаружили, что Verizon предлагает потребителям тарифы в диапазоне от 26,67 долларов США за Мбит/с (для скорости 1,5 Мбит/с) до 13 центов за Мбит/с (для скорости 300 Мбит/с). платите в 205 раз больше, чем другие, за Мбит/с.
Обзор EarthLink
Мы провели поиск по 565 752 адресам из 35 городов с помощью инструмента поиска EarthLink. Чуть менее трети, 28 % домохозяйств, не обслуживались системой EarthLink.
EarthLink не владеет собственной инфраструктурой, а арендует линии у AT&T, CenturyLink и Frontier в городах, которые мы анализируем, и иногда добавляет надбавку к тарифу.
Мы не нашли Frontier, использующего выравнивание уровней, и мы также не нашли его в городах, где EarthLink арендует линии у этой компании (Бриджпорт, Коннектикут, и Чарльстон, Западная Вирджиния), поэтому мы не включали эти города в наш анализ. анализ EarthLink.
В 14 городах, во всех из которых были арендованы линии через CenturyLink, EarthLink предлагала только низкие скорости. Сюда входят Сиэтл, Феникс и Денвер. Поскольку различий в скорости не было, мы исключили эти города из дальнейшего анализа предложений EarthLink.
Осталось 285 962 предложения из 19 городов, где Earthlink предлагал услуги и где скорость внутри городов различалась. Большинство из них обслуживались с использованием инфраструктуры AT&T, при этом менее одного процента домохозяйств обслуживались с помощью инфраструктуры CenturyLink.
Мы обнаружили, что EarthLink взимала 50 долларов за тарифные планы в областях, где она арендовала у CenturyLink, и 60 долларов за планы, где она арендовала у AT&T, независимо от предлагаемых скоростей.
Эта стоимость такая же, как и базовое предложение CenturyLink, но EarthLink была на 5 долларов дороже, чем AT&T, в районах, где она арендует линии у AT&T.
(Иногда EarthLink предлагал даже более медленное обслуживание, чем AT&T, за большие деньги. Например, в Милуоки AT&T предлагала домохозяйству 300 Мбит/с за 55 долларов, а EarthLink предлагала те же 3 Мбит/с дома за 60 долларов.)
В двух городах, где мы собрали данные о предложениях на несколько месяцев позже, чем в других (Колумбус и Нэшвилл), мы обнаружили расхождения в ценах EarthLink. EarthLink взимал 55 долларов США за планы на 12 Мбит/с, в то время как базовые планы на 3, 6 и 100 Мбит/с по-прежнему составляли 60 долларов США.
Мы не нашли ни одного города, в котором базовые тарифные планы EarthLink предлагали молниеносно высокие скорости (на уровне 200 Мбит/с или выше).
В отличие от других провайдеров, EarthLink предлагала (некоторым, но не всем) адреса с базовыми предложениями для медленных, средних и быстрых скоростей с возможностью перехода на более быстрое обслуживание, но это потому, что они часто предлагали даже более низкие базовые скорости, чем провайдер, у которого они арендуют линии. .
Например, для некоторых адресов CenturyLink указал базовый план 200 Мбит/с, а Earthlink указал базовый план 10 Мбит/с. (Мы обнаружили эти понижения в 61 % предложений EarthLink.) EarthLink предлагала эти низкоскоростные адреса до 5000 Мбит/с за дополнительную плату.
Когда мы стандартизировали цену за каждый Мбит/с услуги, мы обнаружили, что EarthLink предлагает потребителям тарифы в диапазоне от 19,98 долларов США за Мбит/с (для скорости 3 Мбит/с) до 60 центов за Мбит/с (для скорости 100 Мбит/с). платите в 33 раза больше, чем другие, за Мбит/с.
У кого низкая скорость?
Для анализа социально-экономических факторов районов, жители которых получают лучшие и худшие предложения, наш набор данных состоит из 848 618 предложений от AT&T, CenturyLink, EarthLink и Verizon в 38 городах США.
Мы рассмотрели три социально-экономических фактора: относительный доход, относительный процент белых жителей и оценки на исторических картах с красной чертой.
Мы обнаружили, что все четыре интернет-провайдера чаще предлагали потребителям низкие скорости в малообеспеченных, наименее белых и исторически запрещенных районах одного и того же города. По крайней мере один из этих трех видов несоответствий присутствовал в каждом протестированном нами городе, за исключением Фарго и Бойсе.
Ярким примером является Канзас-Сити, штат Миссури, город, разделенный с севера на юг и протянувшийся Труст-авеню. AT&T непропорционально предлагала потребителям в малообеспеченных районах Канзас-Сити худшие предложения (менее 25 Мбит/с за 55 долларов).
Например, более 54 процентов адресов в районах с низким уровнем дохода получили худшие предложения, по сравнению с 11 процентами в районах с более высоким уровнем дохода. Точно так же AT&T несоразмерно предлагала жителям Канзас-Сити, живущим в районах с наибольшим количеством цветных, худшие предложения.
Та же закономерность была обнаружена и в отношении того, что AT&T предлагала жителям, проживающим в районах, исторически отмеченных красной чертой.
(Чтобы увидеть те же графики для других интернет-провайдеров и городов, см. GitHub.)
Для каждого интернет-провайдера и в каждом городе мы сравнили пропорцию низкоскоростных предложений по трем направлениям: районы с низким и высоким доходом, районы с наибольшей долей белых жителей и районы с наименьшей долей, а также «опасные места» по рейтингу HOLC. ” по сравнению с “лучшими” и “по-прежнему желательными” областями.
Мы считаем, что существует несоответствие, когда разница в доле медленных скоростей между любым из сравнений составляет пять процентных пунктов или более. Мы использовали этот порог для учета неопределенности и шума, которые могут быть вызваны выборкой.
Мы намеренно не проводили статистические тесты с p-значениями, потому что, как советовали статистики, с которыми мы консультировались, мы не можем предположить независимость между предложениями адресов, предположение, необходимое для t-тестов Стьюдента, тестов хи-квадрат и z-тестов.
(См. Ограничения: где P-значения? подробнее.)
Мы не смогли проанализировать каждый город в наших данных, потому что некоторые города не отличались расовым или этническим разнообразием. Кроме того, некоторые города либо никогда не оценивались HOLC, либо эти записи никогда не оцифровывались.
Мы проводили сравнения в городах только в том случае, если по крайней мере 5 процентов адресов находились в районах, где менее 50 процентов окружающего населения были белыми или цветными людьми или содержали рейтинги HOLC.
Эти пороговые значения были созданы, чтобы отфильтровывать города, которые не содержат достаточной дисперсии для значимого сравнения.
Было несколько случаев использования разных провайдеров (до двух) в одном и том же городе, которые мы называем «парами город-провайдер».
Подробную информацию о скоростях каждой пары «город-провайдер» см. на GitHub.
Доход
В подавляющем большинстве городов, которые мы протестировали, мы обнаружили, что компании непропорционально часто предлагали жителям районов с низким уровнем дохода низкие скорости по той же цене, что и более высокие скорости жителям более богатых районов.
Мы протестировали 38 городов (и 57 пар «город-интернет-провайдер») на предмет закономерностей уровней доходов тех, кто получает худшие предложения. Нам не удалось проанализировать пять городов (и 19 пар "город-провайдер"), поскольку компании предлагали одинаковые скорости для всех этих муниципалитетов.
Мы обнаружили, что 92 % из 38 городов и 83 % из 57 пар «город-провайдер» продемонстрировали несоответствие между процентной долей адресов с низким и высоким доходом, предлагающих наихудшие предложения.
Семь процентов (три) городов и 18 процентов (десять) пар "город-провайдер" демонстрировали незначительные или нулевые различия в уровне доходов тех, кто предлагал низкие скорости.
Среди провайдеров мы часто обнаруживали несоответствие между долей адресов в районах с низким и высоким доходом, которым предлагались худшие предложения. Для Verizon это имело место в каждом городе, а для AT&T — во всех, кроме одного из 20 городов (95 процентов).
Для EarthLink и CenturyLink это имело место в 63 и 87 процентах городов соответственно.
Потенциальные клиенты AT&T в Оклахома-Сити, проживающие в бедных районах, часто и непропорционально часто получали худшие предложения.
AT&T предложила тарифные планы за 55 долларов для медленных скоростей 53 процентам адресов в районах с низким уровнем дохода и только 7 процентам адресов в районах с высоким уровнем дохода, т. е. разница в 46 процентных пунктов.
Из всех городов и поставщиков услуги AT&T в Оклахома-Сити продемонстрировали наибольшую разницу в проценте худших сделок между группами дохода.
Худшие интернет-сделки AT&T в Канзас-Сити, Новом Орлеане и Чарльстоне, Южная Каролина, также были сильно смещены в сторону адресов в районах с низким уровнем дохода. Компания EarthLink, которая арендует инфраструктуру AT&T в этих городах, поступила так же.
В Вашингтоне, округ Колумбия, 32 % потенциальных клиентов Verizon в регионах с низким уровнем дохода получили худшие предложения по сравнению с 13 % в регионах с более высоким уровнем дохода.
Мы также обнаружили ту же закономерность в предложениях CenturyLink, наиболее заметным из которых было в Миннеаполисе, где более половины адресов в районах с низким уровнем дохода предлагали медленные скорости за 50 долларов по сравнению с 8 процентами адресов в районах с более высоким уровнем дохода.
Раса и этническая принадлежность
Мы также обнаружили различия в расовом и этническом составе жителей районов, жители которых заключали самые низкие сделки в Интернете, в большинстве городов, которые мы тестировали.
Жителям районов с наименьшим количеством белых жителей непропорционально часто предлагали медленные скорости по той же цене, что и более высокие скорости, предлагаемые в районах с наибольшим количеством белых жителей.
Мы протестировали 32 города (и 50 пар «город-провайдер»). В дополнение к пяти городам (и 19 парам город-провайдер), которым предлагалась одинаковая скорость, мы не смогли проанализировать шесть городов (и семь пар город-провайдер), поскольку они не отличались расовым и этническим разнообразием.
Всего нам не удалось проанализировать 11 городов и 26 пар "город-провайдер".
В 66 процентах из 32 городов и в 52 процентах из 50 пар городов и интернет-провайдеров мы обнаружили несоответствие между долей худших предложений, предлагаемых в районах с наибольшим и наименьшим количеством белых жителей.
Из остальных 34 % городов (11) и 48 % пар "город-провайдер" (22) практически не различались в предложениях для районов с наибольшим и наименьшим количеством белых жителей.
Среди провайдеров мы обнаружили, что AT&T непропорционально делала худшие предложения районам с наименьшим количеством белых жителей в 63 процентах городов (19), которые она обслуживала. Verizon сделала это в 50 % обслуживаемых городов (2), CenturyLink — в 64 % обслуживаемых городов (11), а EarthLink — в 33 % обслуживаемых городов (18).
Для адресов в районах Оклахома-Сити с наименьшим количеством белых AT&T предложила худшие предложения для 51% адресов. Эти предложения были предложены только 11% адресов в районах с наибольшим количеством белых жителей.
В большинстве городов, которые она обслуживает, мы обнаружили различия в расовом составе в районах, где AT&T предлагала худшие предложения, с разрывом более 25 процентных пунктов в Канзас-Сити, Новом Орлеане и Луисвилле, штат Кентукки.
Компания EarthLink обслуживала эти же города посредством аренды с AT&T и следовала той же схеме.
В Лас-Вегасе компания CenturyLink предлагала худшие предложения 71% адресов в наименее белых районах города по сравнению с 40% адресов в наиболее белых районах города (разница в 31 процентный пункт).
Помеченные области
Наконец, и это самое примечательное, в каждом городе, который мы смогли протестировать, мы обнаружили, что люди, живущие в районах, которые десятки лет назад считались HOLC «лучшими» и «желательными», получают более высокие скорости по той же цене, что и медленные. предложения скорости распространялись на жителей районов, которые были классифицированы как «опасные».
Единственным исключением является Нэшвилл, который демонстрирует это несоответствие для предложений AT&T, но не для EarthLink.
Мы протестировали 22 города (и 35 пар город-провайдер). В дополнение к пяти городам и 19 парам город-провайдер, которые мы не смогли проанализировать, потому что адреса в них предлагали одинаковые скорости, мы не смогли проанализировать 16 городов (и 23 пары город-провайдер), потому что они либо никогда не оценивались HOLC. или карты никогда не были оцифрованы.
Всего мы не тестировали 21 город и 41 пару "город-провайдер" в нашем анализе красных линий.
Наибольшее несоответствие было в Канзас-Сити, штат Миссури, где AT&T предлагала 68 % адресов в районах с рейтингом "опасных" худшие предложения по сравнению с 12 % адресов в районах с рейтингом "лучший" и "желательный".
Мы обнаружили расхождения аналогичного масштаба на других рынках, обслуживаемых AT&T, таких как Детройт.
Точно так же мы обнаружили, что CenturyLink непропорционально предлагала худшие предложения адресатам в исторически запрещенных районах Миннеаполиса, Феникса и Де-Мойна. В каждом из этих городов более половины адресов в отмеченных красной чертой зонах предлагали худшие предложения.
В Ньюарке, штат Нью-Джерси, мы обнаружили, что Verizon предлагает адреса в «опасных» районах с худшими предложениями в 21% случаев по сравнению с 2% в районах с «лучшими» или «желательными» рейтингами.
Логистическая регрессия для корректировки пропорций медленной скорости
Интернет-провайдеры непреклонны в том, что их действия недискриминационные и основаны на разумных деловых решениях.
В недавнем комментарии к FCC AT&T отрицает заявления о дискриминационном доступе к широкополосной связи, которые вместо этого объясняются «проблемами технической и экономической осуществимости», а также «отставанием темпов внедрения в некоторых сообществах, особенно среди домохозяйств с низким доходом».
Чтобы было ясно, решения интернет-провайдеров о том, где модернизировать оборудование, чтобы обеспечить более высокие скорости, отделены от более широкого вопроса о том, почему интернет-провайдеры решили взимать одну и ту же цену за совершенно разные скорости обслуживания, некоторые из которых не соответствуют стандартам, особенно с учетом демографические данные о том, где предлагается эта некачественная услуга.
Тем не менее, мы провели логистическую регрессию, в которой учитывались переменные, которые, по мнению критиков, отраслевых специалистов и ученых, могут иметь отношение к результату отказа интернет-провайдера от обновления услуг в определенной области — и к которым у нас был доступ — чтобы увидеть, устранит ли это несоответствия.
(Мы не смогли учесть все возможные переменные. См. Приложение: Независимые переменные для более подробной информации.)
Мы использовали следующие переменные:
* Плотность населения. Небольшое количество потенциальных клиентов в данном районе рассматривается как финансовый барьер для развития инфраструктуры. Интернет-провайдеры утверждают, что окупаемость инвестиций снижается в малонаселенных районах. В том же комментарии к FCC, упомянутому ранее, AT&T признала, что «развертывание оптоволокна сосредоточено в районах с более высокой плотностью населения». В нем говорится, что «плотность домохозяйства, а не средний доход, движет этим развертыванием».
Поправка на плотность населения (количество человек на квадратную милю) помогла нам изолировать влияние социально-экономических факторов между районами с разной плотностью населения, такими как городские и пригородные районы в одном городе.
* Конкуренция: специалисты отрасли и группы защиты интересов предположили, что количество конкурирующих интернет-провайдеров, обслуживающих регион, является стимулом для интернет-провайдеров предлагать конкурентоспособные цены и более высокие скорости. Институт местной самообеспеченности обнаружил, что AT&T «почти исключительно модернизировала свои сети, чтобы предлагать услуги широкополосного доступа только в тех областях, где она сталкивается с конкуренцией».
Аналогичным образом, экономическая консалтинговая фирма Analysis Group обнаружила, что конкуренция на рынке, как правило, снижает цены и ускорение. Мы измерили это значение, используя количество провайдеров проводного интернета, перечисленных в форме 477 FCC для каждой группы блоков.
* Показатели внедрения широкополосного доступа. Как указано выше в комментарии AT&T к FCC, компания обвинила в несправедливом доступе к широкополосному доступу «отстающие темпы внедрения». Опрос американского сообщества отслеживает уровень внедрения широкополосного доступа в домохозяйствах США.
См. Приложение: Независимые переменные< /a> для более подробной информации.
Мы выполнили бинарную логистическую регрессию, включив эти переменные, чтобы увидеть, повлияет ли корректировка на них на социально-экономические различия, которые мы наблюдали в нашем анализе выше.
Хотя обычная регрессия по методу наименьших квадратов (линейная) выявляет взаимосвязь между такими переменными, как средний доход в долларах и скорость загрузки (например, на каждые 10 долларов сверх среднего городского дохода потребителям предлагалось еще два Мбит/с по той же цене), более детальный анализ таких отношений выходит за рамки нашего анализа. Вместо этого мы сосредоточились на том, кто получает худшие предложения.
Мы выбрали бинарную логистическую регрессию для анализа несопоставимых результатов между группами.
С помощью бинарной логистической регрессии мы можем рассчитать вероятность результата (получения предложения низкой скорости интернета) в группе сопротивления (например, в районах с низким уровнем дохода) по сравнению с группой воздействия (например, в районах с более высоким уровнем дохода).
Логистическая регрессия позволяет нам преобразовывать выходные данные модели в вероятности и сравнивать "скорректированные" вероятности с наблюдаемыми. вероятности.
Мы получаем скорректированную разницу в процентных пунктах, вычисляя вероятность исхода для каждой группы (например, с низким доходом и с высоким доходом) после учета других переменных и получения разницы двух вероятностей.
Величина разницы между наблюдаемой и скорректированной разницей в процентных пунктах помогает нам понять, могут ли бизнес-факторы объяснить некоторые из наблюдаемых различий в скорости.
Например, если наблюдаемое несоответствие между долей медленных скоростей, предлагаемых двум группам доходов, составляет 25 процентных пунктов (30 процентов для более низких доходов по сравнению с 5 процентами для более высоких доходов), а скорректированное несоответствие составляет только один процентный пункт, переменные, которые учитываемая модель сильнее коррелирует с медленными скоростями, чем только с доходом.
Мы запустили три модели логистической регрессии для каждого города и интернет-провайдера. Каждая из них пыталась предсказать, предложил ли интернет-провайдер домохозяйству наихудшую сделку (низкая скорость интернета по той же цене, что и более высокая скорость), используя указанные выше переменные плюс одну дополнительную независимую переменную — доход, расу или оценки HOLC — для каждой модели.
Эти дополнительные независимые переменные были разделены на три отдельные модели, чтобы избежать потенциального смешения между историческими и социально-экономическими факторами. .
Мы обнаружили, что плотность населения, конкуренция и уровень внедрения объясняют некоторые, но не все наблюдаемые различия.
Другими словами, даже принимая во внимание бизнес-решения, которые могли повлиять на модернизацию оборудования, низкокачественные и недорогие интернет-предложения оставались более распространенными для районов, где меньше белых жителей и доходы были ниже, и которые исторически были отмечены красной чертой.
В следующих разделах мы подробно расскажем о результатах каждой из трех регрессий.
Доход
Более чем в двух третях случаев — 68 % городов (26 из 38) и 69 % пар город-провайдер (40 из 58) — поправка на дополнительные факторы уменьшила, но не устранила несоответствия ( ниже разницы в пять процентных пунктов) между адресами в регионах с низким и высоким уровнем дохода.
Мы обнаружили, что медианный псевдоr-квадрат Макфаддена составлял 0,06 для 58 пар «город-провайдер», 83% пар «город-провайдер» имели отношение шансов выше 1,5 для переменной дохода, а 90% пар «город-провайдер» имели p-значения. ниже 0,05 для коэффициента дохода.
(Все выходные данные модели можно найти на нашем GitHub. Узнайте, почему p-значения могут быть неточными в Ограничения: где P-значения?)
Корректировки, сократившие диспропорции, были особенно заметны в Омахе (CenturyLink), Миннеаполисе (CenturyLink) и Сиэтле (CenturyLink).
В Сиэтле корректировки привели к гораздо меньшему расхождению между адресами в районах с низким и высоким доходом, которым предлагались самые худшие предложения. Тем не менее, несоответствие осталось.
Однако в Вирджиния-Бич поправка на дополнительные факторы увеличила разрыв между низкими скоростями Verizon в регионах с низким и высоким доходом.
Когда мы рассмотрели адреса с похожими атрибутами, но разными группами дохода, оказалось, что дополнительные факторы усилили связь между доходом и тем, кто получил худшие предложения.
Это также произошло в Вашингтоне, округ Колумбия, и Ньюарке, которые обслуживаются Verizon, а также в Хантсвилле (AT&T и EarthLink), Нэшвилле (EarthLink), Уичито (EarthLink), Шайенне, Вайо (CenturyLink) и Бойсе. (Век Линк).
В этих случаях логистическая регрессия предполагает, что корректировка различий в бизнес-факторах не объясняет различия между группами доходов, а делает их более значительными.
Чтобы определить, какие бизнес-факторы оказали наибольшее влияние на наблюдаемые различия, мы повторно обучили каждую логистическую регрессию, удаляя один фактор за раз (так называемое исследование абляции).
Мы выбрали этот подход вместо сравнения коэффициентов, потому что каждый фактор был стандартизирован таким образом, что интуитивная интерпретация была невозможна. .
Факторами, которые в наибольшей степени повлияли на наблюдаемое неравенство в зависимости от дохода, были существующие показатели внедрения широкополосного доступа (48 % пар "город-провайдер"), а также количество конкурентов в регионе (34 % пар "город-провайдер").
Раса и этническая принадлежность
В одной трети случаев – 31 % городов (10 из 32) и 28 % пар "город-провайдер" (14 из 51) – корректировка дополнительных факторов не устраняла несоответствия (разница менее пяти процентных пунктов). ) между адресами в областях наименьшего и наибольшего белого.
Мы обнаружили, что медиана псевдоr-квадрата составила 0,07 среди 51 пары «город-провайдер», 45% пар «город-провайдер» имели отношение шансов выше 1,5, а 78% пар «город-провайдер» имели p-значение ниже 0,05.
(Все выходные данные модели можно найти на нашем GitHub. Узнайте, почему мы не включаем p-значения в Ограничения: Где P-значения?)
В некоторых городах поправка на другие факторы уменьшила разницу между наименее и наиболее белыми областями, но не устранила ее. Это было особенно заметно в Луисвилле (AT&T и EarthLink), Канзас-Сити, штат Миссури (AT&T и EarthLink), и Новом Орлеане (AT&T и EarthLink).
Учет дополнительных факторов не повлиял на расовые и этнические различия в Атланте (AT&T и EarthLink), Чикаго (AT&T), Индианаполисе (EarthLink) и Лос-Анджелесе (EarthLink).
Корректировка с учетом дополнительных факторов устранила неравенство между районами с наименьшим и наиболее белым населением в Уичито (AT&T), Сиэтле (CenturyLink), Су-Фолс, Южная Дакота. (CenturyLink), Миннеаполис (CenturyLink) и Омаха (CenturyLink).
В Омахе, где скорректированная разница в процентных пунктах была почти нулевой (снижение более чем на 31 процентный пункт по сравнению с наблюдаемой разницей), конкуренция была более тесно связана с медленными скоростями, чем только с расой и этнической принадлежностью.
Расовые и этнические различия были устранены в Чарльстоне (AT&T) после поправки на уровень внедрения широкополосного доступа.
Аналогичным образом, в городах, которые практически не отличались без корректировок, таких как Милуоки (AT&T), Вашингтон (Verizon) и Альбукерке (CenturyLink), после корректировки других факторов наблюдалось обратное несоответствие.
Фактором, который привел к наибольшей корректировке наблюдаемых значений расовых и этнических различий (примерно в 45 процентах пар «город-провайдер»), были темпы внедрения широкополосного доступа, за которыми следовала конкуренция и плотность населения (в 33 и 22 процентах пар «город-провайдер»). , соответственно).
Области, отмеченные красным цветом
Почти в двух третях случаев — 59 % городов (13 из 22) и 56 % пар город-провайдер (20 из 36) — поправка на дополнительные факторы не устраняла несоответствия (ниже пяти процентных пунктов). разница) между худшими интернет-предложениями, предлагаемыми адресам в районах, которые считаются «опасными», и теми, которые считаются «лучшими» и «по-прежнему желательными» на исторических картах.
Мы обнаружили, что медиана псевдоr-квадрата составляла 0,11 для 36 пар «город-провайдер», 83% пар «город-провайдер» имели отношение шансов выше 1,5, а 92% пар «город-провайдер» имели p-значение ниже 0,05. (Все выходные данные модели можно найти на нашем GitHub.
Узнайте, почему мы не включаем p-значения в Ограничения: где находятся P-значения?)
Мы обнаружили, что в большинстве городов различия между районами, отмеченными красной чертой, и областями, не отмеченными красной чертой, сократились, но не исчезли. Наиболее ярко это проявилось в Канзас-Сити. Миссури (AT&T и EarthLink) и Миннеаполис (CenturyLink).
В Луисвилле (EarthLink) эти факторы не объясняли наблюдаемую разницу между низкими скоростями в областях, отмеченных красной линией, и областях, не отмеченных красной линией. То же самое относится и к Омахе (CenturyLink) и Новому Орлеану (EarthLink).
В Луисвилле (AT&T) разница между областями, отмеченными красной чертой, и областями, не отмеченными красной чертой, значительно увеличилась после того, как мы сделали поправку на другие факторы, в основном на плотность населения. Это также произошло в Ньюарке (Verizon) и Фениксе (CenturyLink).
Несоответствия были устранены после поправки на другие факторы для Шарлотты и Лос-Анджелеса. В Лос-Анджелесе мы обнаружили, что плотность населения больше коррелирует с низкими скоростями, чем с различиями только в оценках HOLC.
Фактором, оказавшим наибольшее влияние на наблюдаемые значения (примерно в 58 % пар "город – интернет-провайдер"), была плотность населения, за которой следовала скорость внедрения (в 28 % случаев).
Корректировки, которые мы видим, демонстрируют, что то, что провайдер продолжает предлагать низкие скорости, может быть связано с различными факторами, многие из которых мы не смогли закодировать.
Тем не менее, даже после учета бизнес-факторов и внесения корректировок, мы обнаружили сильные различия в демографических факторах, которые мы наблюдали в отношении тех, кто получил худшие предложения в крупных городах.
Подробный обзор выходных данных модели логистической регрессии, таких как p-значения, коэффициенты, отношения шансов, вероятности и псевдо R2 Макфаддена, см. по адресу GitHub.
Ограничения
Проверка полноты наборов адресных данных с открытым исходным кодом
Чтобы проверить, насколько полными являются OpenAddresses в каждом городе, мы сравнили количество адресов, которые он предоставляет, с количеством домохозяйств, оцененным на основе американского Опрос сообщества с 2016 по 2020 год.
Обратите внимание, что ACS определяет домохозяйства как «отдельные жилые помещения», которые могут включать целые дома, квартиры, мобильные дома и отдельные комнаты.
Мы обнаружили, что OpenAddresses покрывают не менее 25 процентов единиц жилья, зарегистрированных в данных переписи населения, в каждом проверенном нами городе, за исключением Нью-Йорка, где они охватывают менее 2 процентов.
Эта закономерность, вероятно, связана с тем, что перепись населения учитывает каждую отдельную квартиру в многоквартирных домах, но вторичные адреса не всегда указаны в адресах OpenAddresses.
Поскольку для нашего анализа мы использовали только один адрес для каждого многоквартирного дома, нам не понадобилась бы каждая квартира.
В Нью-Йорке мы использовали адресные данные из открытых данных Нью-Йорка вместо OpenAddresses. По сравнению с оценками переписи, этот источник данных охватывал 26 % единиц жилья в Нью-Йорке.
Чтобы убедиться, что адресные данные не содержат географических предубеждений, мы нанесли на карту все доступные адреса и выполнили визуальную проверку, чтобы убедиться, что на карте нет больших пустых областей, которые не были на зеленых насаждениях или воде.
Ответы инструментов поиска_:_
Иногда Verizon предлагал тарифы на 10 долларов США выше обычных 40 долларов США. Чтобы проверить это, мы дважды проверили цены в Бостоне. Мы обнаружили, что предложение Verizon для одних и тех же адресов произвольно менялось от 40 до 50 долларов. Похоже, это тестирование цены.
Поэтому мы посчитали, что предложения за 50 долларов ничем не отличаются от предложений за 40 долларов, и включили их в наш анализ выравнивания уровней.
Verizon не ответила на наши вопросы о тестировании цен.
Форма 477 FCC
Большая часть исследований посвящена доступу в Интернет< /a> опирается на данные, собранные Федеральной комиссией по связи с помощью формы 477, которая требует, чтобы интернет-провайдеры два раза в год представляли агентству свои текущие предложения в США по географическому признаку.
Эти данные, как известно, полны дыр. Он учитывает целую группу блоков Census, в которой может разместиться до 3000 человек, поскольку обслуживается, если интернет-провайдер заявляет, что предлагает услуги или вскоре может предложить их по одному адресу в регионе.
Эти ограничения разъясняются в предыдущем исследования, многие из которых мы цитируем в этой методологии..
Где P-значения?
Для использования статистических тестов, таких как критерий Стьюдента, критерий хи-квадрат и критерий z, необходимо исходить из того, что каждая точка данных является независимой.
Статистик, просматривавший более ранний вариант нашего анализа, предупредил нас, что мы не можем доказать, что интернет-предложения независимы друг от друга, потому что интернет-провайдеры могут предоставлять одни и те же планы для географических регионов.
Несмотря на то, что мы наблюдали случаи вариаций в предложениях внутри групп блоков переписи, мы не знаем, какие географические единицы используют интернет-провайдеры для определения скорости (вероятно, не по группам блоков переписи). Итак, из осторожности мы решили не рассматривать наблюдения как независимые друг от друга.
Тем не менее, изменение нашего порогового значения с того, что использовалось в нашем основном анализе (разница в пять процентных пунктов), на пороговое значение, основанное на p-значениях, привело бы к тому, что мы классифицировали бы больше комбинаций города-провайдера как отображающие несоответствия.
Различные системы классификации
Что касается дохода, в приведенном выше анализе каждый адрес классифицируется по среднему доходу в его блок-группе переписи, помещая каждый адрес в один из четырех квартилей.
Границы между каждым квартилем определяются для каждого города так, чтобы одна четверть (или как можно более близкая к этому) адресов попадала в каждый квартиль в каждом городе.
Мы использовали аналогичный подход к категоризации адресов по расе/этнической принадлежности, но в качестве ключевой переменной использовали долю жителей в соответствующей блок-группе переписи, которые идентифицируют себя как «не латиноамериканцы или латиноамериканцы, а только белые».
Мы выбрали эти подходы для учета уникальных социально-экономических условий каждого города, позволяя проводить сравнения между городами. Мы изучили другие подходы и обнаружили, что наши выводы практически не изменились.
Например, в нашем анализе доходов, если бы мы использовали определение низкого и вместо этого и сравнив средний доход домохозяйства квартальной группы со средним доходом домохозяйства в городе, мы обнаружили бы расхождения в 92 процентах пар «город-провайдер» и в 97 процентах городов, что немного больше, чем в подходе, на котором мы остановились, который выявил несоответствия. в 83% пар "город-провайдер" и в 92% городов.
Для расы и этнической принадлежности, если бы мы установили фиксированный порог в 0–40 процентов белого населения для «наименее белого», 41–60 процентов для «интегрированных» районов и 61–100 процентов для «наиболее белого», мы бы нашли различия в 51 проценте пар город-провайдер и 60 процентах городов.
Это несколько меньший процент расхождений, чем в подходе, на котором мы остановились, при котором расхождения были обнаружены в 51 % пар "город-провайдер" и в 60 % городов.
Однако недостатком других подходов, которые мы рассмотрели, является то, что они подразумевают сравнение совершенно разных размеров выборок по социально-экономическим группам. Иногда это означало пустые или почти пустые категории, что делало некоторые города не поддающимися анализу.
Например, в Чарльстоне, если бы мы использовали определения Закона о реинвестициях в сообщества, у нас был бы 2141 адрес в районах с высоким доходом по сравнению с только 291 адресом в районах с низким доходом.
Такие небольшие размеры выборки ненадежны для анализа, особенно без использования p-значений.
Данные, использованные для этого расследования, общедоступны на нашем GitHub.
Ответы компаний
В сентябре мы разослали черновики этой методики вместе со списком вопросов каждому из исследованных нами интернет-провайдеров. Никто не оспаривал основной, лежащий в основе вывод, что они берут одинаковую сумму за разные уровни обслуживания.
Основная жалоба, выдвинутая AT&T, заключается в том, что компания предлагает льготные тарифные планы некоторым жителям с низким доходом и что федеральное правительство также предоставляет ежемесячные субсидии в размере 30 долларов жителям с низким доходом в соответствии с новым федеральная программа, которая была частью инфраструктуры 2021 года. счет (75 долларов для тех, кто живет на племенных землях).
«Ваш анализ в корне ошибочен, поскольку вы явно проигнорировали наше участие в федеральной программе доступного подключения и наши недорогие предложения услуг Access by AT&T.
Соответствующие требованиям потребители могут получить бесплатный интернет-сервис при сочетании федеральной субсидии в размере 30 долларов с нашими недорогими вариантами», — написал в своем заявлении помощник вице-президента AT&T Джим Грир.
«Любое предположение о том, что мы допускаем дискриминацию при предоставлении доступа в Интернет, в корне неверно».
отчет, опубликованный ранее в этом году, показал, что только один- треть подходящих домохозяйств в 30 крупных городах США подписались на ACP.
И более половины тех, кто зарегистрировался к началу октября, использовали его для покрытия расходов на мобильную связь, а не на проводное домашнее подключение к Интернету. (что разрешено).
Грир настаивает на том, что AT&T «провела широкую кампанию по маркетингу и регистрации подходящих клиентов для ACP», но отказалась раскрыть количество или процент клиентов AT&T, которые были одобрены либо для ACP, либо для внутренних клиентов компании. недорогой план для жителей с низким доходом.
Кроме того, важно отметить, что, хотя некоторые районы с низким уровнем дохода также относятся к наименее белым районам, это не всегда так. По нашим данным, в каждом городе, обслуживаемом AT&T, были районы с наименьшим количеством белых, которые не входили в число районов с самым низким уровнем дохода.
Грир предположил в последующем электронном письме, что если бы мы усреднили все интернет-предложения в каждой группе блоков, включая возможные обновления, различия в Мбит/с на доллар были бы уменьшены. Он не предоставил эти альтернативные статистические данные или какие-либо данные.
Представитель Verizon Рич Янг отказался напрямую отвечать на наши вопросы, вместо этого направив нас к отраслевой группе USTelecom. Старший вице-президент USTelecom Мари Джонсон настаивала на том, что у интернет-провайдеров были веские причины взимать ту же цену за медленное обслуживание, что и за быстрое:
«Оптоволокно может быть в сотни раз быстрее, чем традиционная широкополосная связь, но это не означает, что устаревшие сети стоят в сотни раз меньше», — написал Джонсон. «На самом деле эксплуатация и обслуживание устаревших технологий может быть более дорогостоящим, особенно потому, что производители оборудования больше не выпускают устаревшие сетевые компоненты».
Пресс-служба EarthLink не ответила на неоднократные запросы о комментариях. Компания предоставляет услуги через инфраструктуру, принадлежащую другим провайдерам в исследованных нами городах, и, таким образом, ограничена в максимальной скорости, которую она может обеспечить.
Материнская компания CenturyLink отправила краткий ответ по электронной почте. «Мы не прибегаем к дискриминационным методам, таким как красная черта, и считаем обвинения оскорбительными», — написал представитель Lumen Марк Молзен.
«Мы не предоставляем услуги на основе каких-либо соображений расы или этнической принадлежности, а методология, использованная для отчета о нашей сети, имеет серьезные недостатки».
Электронное письмо Мользена не выявило каких-либо конкретных недостатков в нашем анализе, и он не ответил на наши дальнейшие запросы о более подробной информации.
Заключение
AT&T, CenturyLink, EarthLink и Verizon предлагали домохозяйствам в одном и том же городе одинаковую цену за совершенно разные уровни обслуживания, что ставило в невыгодное положение домохозяйства в районах с низким доходом, наименьшем количестве белого населения и в районах, исторически отмеченных красной чертой.
Когда мы смотрели на соотношение цены и качества, цены CenturyLink варьировались от 0,25 доллара за Мбит/с до 100 долларов за Мбит/с для самых медленных соединений. Это в 400 раз больше денег за Мбит/с. Разрыв для AT&T, Verizon и EarthLink составил 398, 205 и 33 раза соответственно.
В 92 процентах исследованных нами городов худшие предложения непропорционально часто предлагались адресатам из районов с низким доходом. В 66 процентах городов худшие сделки непропорционально достались домохозяйствам в районах с наименьшим количеством белых.
Во всех 22 городах, где мы смогли получить оцифрованные карты безопасности жилых домов HOLC, худшие сделки в подавляющем большинстве случаев приходилось на районы, исторически отмеченные красной чертой.
Даже с поправкой на другие факторы, которые могут повлиять на решения интернет-провайдеров о том, где развернуть высокоскоростную интернет-инфраструктуру (такие как плотность населения, уровень внедрения широкополосного интернета и количество конкурентов), различия, которые мы обнаружили среди малоимущих, наименее белых, и исторически отмеченные красными чертами области в большинстве случаев остались.
Защита провайдеров в основном заключалась в том, что устаревшая инфраструктура обходится дорого в обслуживании и что их собственные недорогие и субсидируемые государством интернет-планы доступны для домохозяйств с низким доходом, которые соответствуют требованиям и знают, как подать заявку.
Тем не менее, сочетание этой схемы ценообразования и истории несправедливого развертывания высокоскоростной интернет-инфраструктуры усугубило цифровое неравенство, когда жителей исторически маргинализированных районов крупных американских городов непропорционально просили платить высокоскоростные цены за низкокачественный интернет. обслуживание.
Приложение
Независимые переменные
Приведенные ниже переменные используются для прогнозирования зависимой переменной: предлагалась ли адресу медленная скорость интернета.
* Доход: мы используем средний доход на уровне группы блоков из таблицы B19013 — средний доход домохозяйства за последние 12 месяцев на основе пятилетних оценок опроса американского сообщества 2015–2019 годов. Эти данные разбиты на квартили («нижний», «средний-нижний», «средний-верхний» и «верхний» доход) на основе среднего дохода группы блоков.
Эти сегменты рассматриваются как категории с более высоким доходом, используемые в качестве лечебной (задерживаемой) группы по сравнению с областями с более низким доходом.
* Раса и этническая принадлежность. Мы используем оценки численности населения на уровне блоков из таблицы B03002 — латиноамериканское или латиноамериканское происхождение по расе, согласно пятилетним оценкам исследования американского сообщества 2015–2019 гг. Мы создаем квартили («наименее белые», «менее белые», «более белые», «наиболее белые») на основе процента неиспаноязычного белого населения квартальной группы.
* Квартили обрабатываются как категории, в которых «наиболее белые» используются в качестве экспериментальной (задерживаемой) группы по сравнению с «наименее белыми».
* Красная черта: исторические оценки HOLC A, B, C и D. D считаются отмеченными красной чертой областями. Уровни обрабатываются как категории с областями с наивысшей оценкой (A и B), используемыми в качестве группы обработки (задержки) по сравнению с областями с оценкой D. Исторически сложилось так, что оценки A и B присваивались исключительно белым районам со средним и высоким доходом. Эти районы рассматривались как районы с низким уровнем риска невозврата кредита.
* Плотность населения: население, деленное на площадь территории группы блоков. Оценки численности населения взяты из пятилетнего исследования американского сообщества 2015–2019 гг. (B03002). ), а площадь земли взята из TIGER Бюро переписи населения 2019 года. файлы форм.
* Это было стандартизировано с использованием Scikit-Learn StandardScaler, где ноль указывает на плотность населения. соответствует средней плотности населения города.
* Коэффициент принятия: процент домохозяйств в районе, которые подписаны на широкополосный доступ в Интернет. Это вопрос опроса пятилетней давности 2019 г. Опрос американского сообщества.
* Это также было стандартизировано с помощью StandardScaler, где ноль указывает на среднюю долю домов, подписанных на широкополосный доступ в Интернет.
* Конкуренция: количество конкурентов в группе блоков в соответствии с уникальным подсчетом «ProviderName» для каждой группы блоков в форме 477 Федеральной комиссии по связи США. Ноль означает, что в этом районе нет других вариантов проводного Интернета.
Благодарности
Мы благодарим Регину Нуццо (Университет Галлодета), Майкла Лавина (Массачусетский университет в Амхерсте), Джонатана Майера (Принстонский университет) и Карен Моссбергер (Университет штата Аризона) за рецензирование первого проекта этой методологии.
Мы также благодарим Энди Гуэсса (Принстонский университет), Петра Сапезински (Северо-восточный университет), Росса Тейшейру (Принстонский университет), Пола Удита (Калифорнийский университет, Санта-Барбара) и Мишу Горелика за руководство и техническую помощь.
Автор Леон Инь и Аарон Санкин
Также опубликовано здесь
Фото Жоэля де Вринда на Unsplash
Оригинал