Как узнать, платите ли вы за медленный Интернет
5 мая 2024 г.Читайте на сайте нашего соавтора
Эта статья была опубликована совместно с Big Local News, Стэнфордским проектом, который использует данные, инструменты и сотрудничество, чтобы дать журналистам возможность лучше освещать свое сообщество. Ознакомьтесь с платформой и преимуществами членства.< /эм>
Платят ли в вашем районе больше денег за медленный интернет по сравнению с районами по всему городу? Это пошаговое руководство поможет вам ответить на этот и многие другие вопросы.
Мы покажем вам, как собирать данные об интернет-планах, предлагаемых в вашем регионе, и о различных способах анализа этих планов, чтобы проверить, кажутся ли они справедливыми и равноправными. Мы не будем диктовать, как вы анализируете данные или к каким выводам приходите. Но мы облегчим вам сбор доказательств таким способом, который не требует специальных технических навыков, является статистически обоснованным, воспроизводимым и низкотехнологичным. Все, что вам нужно, — это компьютер, учетная запись Google и (да) доступ в Интернет.
В октябре прошлого года надбавка расследовал, как четыре крупных национальных интернет-провайдера (ISP) непропорционально предлагали худшие предложения в районах с низкими доходами, исторически ограниченными или в которых проживало наименьшее количество белых жителей. по сравнению с другими частями того же города. Мы сосредоточили свое расследование на крупнейшем городе. в каждом штате, но после публикации мы получили поток запросов от правительственных чиновников, правозащитных групп, преподавателей и местных написав программное обеспечение. который заходил на веб-сайт каждого интернет-провайдера и сохранял доступность, скорость и цены планов, которые они предлагали, для более чем миллиона адресов. Мы обнаружили, что каждый из этих интернет-провайдеров предлагал очень разные скорости за одну и ту же базовую цену даже в пределах одного города. Сопоставив эти предложения с информацией об окрестностях каждого адреса, мы обнаружили, что во всех протестированных нами городах, кроме двух, интернет-провайдеры непропорционально часто просили людей из маргинализованных районов платить повышенную цену за некачественные услуги.
Но вам не обязательно проводить исследования в таком масштабе. Например, в прошлом году Фонд сообщества Калифорнии вручную провел поиск по 165 адресам Лос-Анджелеса на веб-сайтах интернет-провайдеров и . обнаружил, что интернет-сервис Spectrum компании Charter Communications, доминирующий интернет-провайдер в Лос-Анджелесе, постоянно предлагал худшие условия малообеспеченным частям города. (В электронном письме на адрес The Los Angeles Times, Charter отклонил отчет как «намеренно вводящий в заблуждение».)
В вашем городе или районе вы, возможно, захотите посмотреть только на то, где интернет-провайдер предлагает услуги, а где нет. Или, может быть, вас интересует, предлагается ли по одним адресам скидка в течение определенного периода времени после первоначальной регистрации, а по другим нет. Вы даже можете просто узнать среднюю скорость интернета, которую предлагает интернет-провайдер в вашем регионе, что само по себе важно.
Давайте начнем. Определите, где вы хотите анализировать интернет-планы. Это может быть любой город или округ. Выбрав место, вы сможете выяснить, какие интернет-провайдеры обслуживают этот район. BroadbandNow – это веб-сайт, позволяющий искать интернет-провайдеров, работающих в любом почтовом индексе. Попробуйте выполнить поиск по различным почтовым индексам в этом районе, чтобы охватить всех возможных интернет-провайдеров.
Кредит:BroadbandNow Подпись: Результаты поиска интернет-провайдеров в 02903, почтовом индексе в Провиденсе, Род-Айленд, на сайте BroadbandNow. BroadbandNow покажет вам все типы широкополосных подключений, включая кабельный Интернет, DSL, оптоволокно, спутниковое< /a> и фиксированная беспроводная связь. В нашем первоначальном исследовании мы сосредоточились только на кабельном Интернете, DSL и оптоволокне, но вы можете выбрать любого интернет-провайдера, который вызовет ваше любопытство или будет вам интересен. Чтобы собрать данные о том, какие интернет-планы предлагаются в выбранном вами регионе, вам необходимо получить список реальных адресов в этом районе. Чтобы провести исследование честно, вам необходимо получить и использовать случайная выборка адресов, поскольку помимо других преимуществ это сводит к минимуму систематическую ошибку. В нашем расследовании мы написали компьютерный код для случайного выбора адресов. Но нам нужен был более простой способ получения случайных адресов для всех, поэтому мы сотрудничали с Big Local News в Стэнфордском университете, чтобы разработать Пробоотборник мест США (USPS).
Чтобы использовать этот инструмент, просто посетите https://usps.biglocalnews.org.
Скриншот видео, на котором кто-то загружает 300 адресов USPS в Провиденсе, Род-Айленд.
Вот как определить нужное количество адресов:
2. Когда USPS увеличивает масштаб области, на панели выбора вверху по умолчанию отображается: «Мне нужно всего 200 адресов из [выбранной вами области]». Нажмите «Итого» и измените его на «Процент от». Затем измените 200 на 1. Вам нужно будет выбрать как минимум один процент адресов в этом районе.
3. Нажмите «Образец». В Провиденсе мы получили более 900 адресов.
Несколько важных предостережений:
* Наши рекомендации ошибочны в сторону передискретизации: Избыточная выборка почти всегда лучше, чем недостаточная. Мы хотели быть особенно строгими в нашем первоначальном расследовании, поэтому выбрали 10 процентов адресов, что было намного больше, чем рекомендовано. (Мы также автоматизировали это, так что это стало намного проще.)
Если вам нужны дополнительные рекомендации и строгость: мы настоятельно рекомендуем обратиться к статистикам из ближайшего университета (они часто очень рады поговорить о статистике). Поговорите с ними о правильном размере выборки для того, чем вы хотите заниматься. Важно отметить, что если вы планируете провести анализ неравенства, вам необходимо убедиться, что население каждой социальной группы (например, домохозяйств с низким и высоким доходом) сопоставимо.
Например, вам не нужны тысячи адресов для домохозяйств с высоким доходом и несколько десятков адресов для домохозяйств с низким доходом. Эксперт может помочь вам понять, как обеспечить достаточное количество адресов для каждой социальной группы, которую вы надеетесь проанализировать. См. советы в разделе «Организовать данные по группам.»
Когда USPS отобразит ваш список адресов, нажмите «+» в правом нижнем углу, а затем нажмите «CSV», чтобы загрузить список адресов. Прежде чем вы начнете проверять планы интернет-провайдеров, вам необходимо правильно отформатировать таблицу адресов, которую вы только что скачали, и использовать социально-экономические данные для анализа, который вы собираетесь провести. Вы выполните эти действия в Google Таблицах (но потом, если хотите, можете перейти на Microsoft Excel).
Скопируйте наш шаблон Сначала откройте таблицу шаблона, которую мы создали для вас (мы встроили множество дополнительные функции, которые помогут вам позже):
* Переименуйте файл, чтобы отразить область, на которую вы смотрите. Например, «isp-citizen-science-providence» для эксперимента в городе Провиденс, Род-Айленд.
Импортируйте адреса В таблице шаблона выделите первую строку данных на вкладке «Интернет-планы», нажав цифру «1» в начале строки. Кредит:Разметка Перейдите в раскрывающийся список «Файл» и нажмите «Импортировать».
Появится окно вашего Google Диска. Нажмите на вкладку с надписью «Загрузить» и следуйте инструкциям, чтобы загрузить файл .csv, заполненный адресами, которые вы скачали с помощью инструмента USPS.
Следующий шаг важен. Вас спросят, как вы хотите импортировать данные. В разделе «Импортировать местоположение» в раскрывающемся меню выберите «Заменить данные в выбранной ячейке», а затем «Импортировать данные». Выберите адресные данные для импорта — в нашем случае «Providence-city-300-addresses.csv» — и укажите, как импортировать данные в электронную таблицу.
Теперь загруженные вами адреса должны появиться в электронной таблице. Благодаря шаблону Google Sheet столбцы долларов и процентов уже должны быть правильно отформатированы, ненужные столбцы автоматически скрываются , а социально-экономические данные о доходах и расовой/этнической принадлежности должны автоматически добавляться из опроса американского сообщества, проводимого Бюро переписи населения.
Автоматически добавляемая демографическая информация для каждого адреса привязана к соответствующему переписному участку, ограниченный географический регион, определенный Бюро переписи населения, обычно насчитывающий от 480 до 3200 единиц жилья.
Дополнительную информацию о том, как рассчитываются и хранятся «
Кредит:Разметка
Если в вашей сфере интересов имеется более одного интернет-провайдера, вы можете сделать копию «Интернет-планов». » для каждого провайдера. Таким образом, вы можете проверить одни и те же адреса для планов каждого провайдера и сохранить эти данные с одинаковыми именами столбцов. (Это должно упростить анализ в дальнейшем.)
На этом этапе вы можете продолжить работу через Google Таблицы или, если хотите, экспортировать документ в Microsoft Excel. После того, как вы выбрали своего интернет-провайдера и создали таблицу всех своих адресов, наступает самое интересное! Под «весельем» мы подразумеваем «чрезвычайно методично».
Вы будете собирать эти данные вручную. Зайдите на сайт интересующего вас интернет-провайдера и найдите, где можно искать интернет-предложения по адресу. Затем введите каждый адрес из своей таблицы и запишите подробную информацию о предлагаемых планах.
Если в вашей сфере интересов несколько интернет-провайдеров, вы можете сделать копию вкладки «Интернет-планы» для каждого провайдера. Таким образом, вы можете проверить одни и те же адреса для планов каждого провайдера и сохранить эти данные с одинаковыми именами столбцов. (Это должно упростить анализ в дальнейшем.)
На этом этапе вы можете продолжить работу через Google Таблицы или, если хотите, экспортировать документ в Microsoft Excel. 4. Получите данные о тарифном плане Интернета. После того, как вы выбрали своего интернет-провайдера и создали таблицу всех своих адресов, наступает самое интересное! Под «весельем» мы подразумеваем «чрезвычайно методично». Вы будете собирать эти данные вручную. Зайдите на сайт интересующего вас интернет-провайдера и найдите, где можно искать интернет-предложения по адресу. Затем введите каждый адрес из своей таблицы и запишите подробную информацию о предлагаемых планах. Для каждого адреса вы можете собрать стандартный набор данных: скорость загрузки самого дешевого предложения, цену этого самого дешевого предложения, скорость загрузки самого быстрого предложения и цену самого быстрого предложения.
У многих интернет-провайдеров есть опции, позволяющие клиентам объединять интернет-услуги с телефонной или телефонной связью. Если вы не решите специально рассматривать пакеты, мы рекомендуем рассматривать исключительно интернет-предложения, чтобы упростить анализ.
Если сайт интернет-провайдера не распознает адрес, это может быть по разным причинам. Вот три, с которыми мы столкнулись:
Инструмент USPS извлекает адреса из несовершенного набора данных с открытым исходным кодом, поэтому, если адрес не распознается, вы можете попытаться подтвердить его вручную. Например, вы можете ввести неизвестный адрес в Карты Google и проверить, действительно ли это место. А теперь самое интересное. Под «весельем» мы подразумеваем «чрезвычайно методично».
Если вы считаете, что это реальный адрес проживания, и интернет-провайдер его не распознает, мы рекомендуем либо удалить всю строку данных и перейти к следующему адресу в вашем списке, либо отслеживать эти случаи в новом столбце.< /п>
Если адрес является реальным адресом проживания без обслуживания, вам следует установить нулевую скорость и цену.
Мы не знаем всех причин, по которым адрес не распознается, поэтому, если вы столкнетесь с дополнительными ситуациями, вам придется принять лучшее решение о том, что делать дальше.
Для начала соберите данные только по 20 адресам Прежде чем приступать к сбору данных по сотням адресов, мы предлагаем сначала провести быструю ручную проверку только с первыми 20 адресами из вашего списка. Это позволит вам ознакомиться с процессом и с тем, какие типы предложений будет показывать веб-сайт интернет-провайдера, а также выяснить, есть ли дополнительные поля (столбцы) данных, которые вы хотите собрать. Например, в отчете Фонда сообщества Калифорнии по Лос-Анджелесу также указано количество месяцев, в течение которых длился первоначальный период скидки по предложению, прежде чем цена вернулась к полной цене плана.
Вы можете учитывать эти дополнительные поля данных, используя описательные имена столбцов. В шаблон мы включили «
Этот быстрый тест также поможет вам понять, на каком результате следует сосредоточиться. В ходе нашего первоначального расследования мы обнаружили, что AT&T, Verizon и CenturyLink хранили цены одинаковы для разных скоростей, поэтому мы сосредоточились в основном на различиях в скорости базовых планов. Но другие провайдеры могут поступить наоборот — предложить те же скорости по разным ценам. В этом случае, возможно, имеет смысл проанализировать разницу в цене.
Другие интернет-провайдеры могут предлагать многоуровневые планы, в которых цена и скорость различаются. В этом случае вы можете рассчитать стоимость за Мбит/с (разделив цену на скорость загрузки) и проанализировать ее. В любом случае вы в конечном итоге проверяете ценность планов, в частности, кто получает лучшие и худшие предложения.
Если провайдеры всегда предлагают одни и те же цены и скорости, но не предоставляют услуги повсюду, вы можете проанализировать, где интернет-услуги доступны, а где нет.
Знание того, какие из этих факторов фиксированы (они никогда не меняются), а какие изменяются (они меняются), необходимо для определения масштаба вашего эксперимента. Соберите полный набор данных!
После того как вы запустили тест и решили, какие данные отслеживать, пришло время собрать эти данные для всех ваших адресов.
Если вы какое-то время регистрировали адреса, веб-сайты интернет-провайдеров могут перестать работать. Это означает, что вы, вероятно, «ограничены по скорости» или заблокированы (узнайте, почему это происходит, и наши советы о том, как с этим справиться, в «Почему сайт интернет-провайдера работает медленно или не загружается?» ниже).
Таким образом, вы будете иметь представление о том, чего ожидать, без ограничения скорости, замедляющего процесс: одному человеку потребовалось примерно один-два часа, чтобы зарегистрировать информацию для 100 адресов во время тестового запуска, который мы провели на веб-сайте Cox Communications.< /п>
Ввод данных — утомительная работа! Мы предлагаем не тратить более 45 минут на сбор интернет-планов за один присест. Распределите работу и делайте частые перерывы. Разделение запросов также уменьшит вероятность того, что вы получите ограничение по скорости или допустите ошибки.
Дополнительные советы по этому шагу см. в разделе «Примечания по бухгалтерскому учету" ниже. Имея под рукой собранные вручную интернет-предложения, вы можете приступить к анализу. Что бы вы ни хотели протестировать — будь то скорость, цена, ценность или доступность, вы можете проверить на наличие различий.
Проверьте достоверность данных переписи населения для каждого адреса Если вы используете наш шаблон, мы сделаем это за вас! В нашей таблице Google мы предварительно рассчитали нечто под названием «коэффициент изменчивости», чтобы определить, являются ли социально-экономические данные переписи населения надежными на основе данного адреса. Мы устанавливаем значения для «
Проведение этой проверки необходимо, поскольку в опросе американского сообщества используются оценки, рассчитанные на основе выборки ответов опроса в этом районе. Когда ответов мало, а население небольшое, of-error-we-help-you-map-them/">погрешность" дает ненадежные социально-экономические данные, поскольку диапазон возможных значений слишком широк.
Отфильтровать строки со значениями
Организовать данные по группам Теперь, когда вы уверены, что располагаете надежными социально-экономическими данными, вам нужно будет решить, как распределить адреса по группам в зависимости от того, что вы пытаетесь узнать, и сравнить результаты в каждой группе.
Мы не собираемся рассказывать вам, как вам следует проводить свой анализ, потому что ваш анализ должен соответствовать вашим вопросам, географическому положению и набору данных, который вы создали. Мы не анализировали каждого интернет-провайдера или каждый географический регион, поэтому за короткий промежуток времени вы, скорее всего, узнаете гораздо больше, чем мы.
Однако мы можем привести примеры того, что мы сделали. Чтобы сгруппировать адреса по социально-экономическим факторам, мы попробовали два подхода в нашем первоначальное исследование: группировка по квартиль (т. е. разделение данных на четыре интервала одинакового размера на основе медианного дохода домохозяйства или расового/этнического разнообразия) и использование фиксированного процентные пороговые значения (например, когда «более низкий доход» был на 50 процентов ниже среднего дохода домохозяйства в городе).
Вам следует попробовать несколько вариантов, которые кажутся разумными, исходя из демографического распределения в вашем регионе (вы можете просмотреть это на вкладке «Диаграммы» в электронной таблице) и посмотреть, будут ли они возвращать одни и те же шаблоны. Мы призываем вас быть строгими, экспериментировать и приходить к собственным выводам.
Создать карту Каждому адресу в данных, с которыми вы работаете, соответствуют соответствующие географические координаты. Вы можете использовать картографическое программное обеспечение, чтобы показать, как рекламируемые интернет-планы распределяются по исследуемой вами территории.
Чтобы показать подробные данные, которые мы собрали в ходе нашего расследования, мы использовали Kepler — картографическую платформу с пользовательским интерфейсом (вот руководство по нему) — или вы можете проявить фантазию и использовать любой программное обеспечение ГИС для картирования ваших данных. После того как ваши данные будут готовы, найдите место, где можно публично поделиться результатами и вашей методологией (вот несколько советов). для написания методики). Мы предлагаем разместить основные данные (планы доступа в Интернет и любые снимки экрана) на GitHub, Google Drive, общедоступной таблице Google или в Big Local News (они создали USPS вместе с нами!).
Если вы хотите загрузить свои данные в Big Local News, перейдите на biglocalnews.org. Назовите свой проект, указав название вашего региона, провайдера, а затем слово «интернет» (например, «Кливленд-атт-интернет»). Переключите кнопку в настройках проекта, чтобы сделать его открытым проектом. Если вы хотите, чтобы данные были заархивированы в Стэнфордских библиотеках и стали общедоступными, напишите по адресу biglocalnews@stanford.edu, и мы поможем! После этого у вас появится общедоступная ссылка, которой вы сможете легко поделиться.
Если вы намерены поделиться методологией с общественностью, мы предлагаем вам обратиться за комментариями к каждому интернет-провайдеру, участвующему в вашем исследовании. Мы, журналисты, привыкли обращаться к кому-то за комментариями, если мы пишем о них, и давать им возможность ответить.
В рамках процесса пуленепробиваемости в The Markup мы также отправляем ранний черновик нашего файла «Покажи свою работу», код и данные внешним рецензентам (например, ученым и специалистам отрасли), а затем, наконец, каждому интернет-провайдеру с дополнительным списком вопросов, основанных на наших данных и отчетах. Следите за датами. Отмечайте, когда вы начинаете и заканчиваете сбор данных. Это поможет другим понять масштаб вашего эксперимента и то, насколько свежа и актуальна информация. Кроме того, компании могут менять свои интернет-предложения, но вы записываете, какими они были, когда просматривали определенные даты — убедитесь, что вы точно знаете, какие это даты!
Ведите журнал: отслеживайте наблюдения, полученные в ходе ранних быстрых тестов, выбросы, которые появляются при сборе данных от интернет-провайдеров, а также вашу методологию анализа после завершения сбора данных. Вы можете экстраполировать уроки и объяснить решения, которые вы приняли, для тех, кто захочет проверить работу того же интернет-провайдера в другом городе.
Сделать снимки экрана. Может быть полезно сделать снимки экрана некоторых (или всех) предложений, которые вы записываете с веб-сайта интернет-провайдера. Если вы опубликуете свои выводы, добавьте несколько снимков экрана — это отличный способ поделиться тем, что вы нашли. Это также хороший способ проверить, какие предложения вы видели на веб-сайте интернет-провайдера в конкретную дату. Расширение браузера Awesome Screenshot — отличный способ легко делать снимки экрана одинакового размера с любой просматриваемой вами веб-страницы. Не забывайте сохранять порядок: пометьте каждый снимок экрана соответствующим местоположением, чтобы его можно было найти быстро и безболезненно. Вы также можете сохранить веб-страницу в формате HTML, что является полезным артефактом для специалистов по данным.
Следите за единицами измерения. Скорость загрузки следует указывать в мегабитах в секунду (Мбит/с). Это означает, что скорость быстрого оптоволокна в гигабитах в секунду (Гбит/с) умножается на 1000, а скорость медленного медного кабеля в килобитах в секунду (Кбит/с) делится на 1000. Например, если самый быстрый план для адреса — загрузка со скоростью 2 Гбит/с, вы записываете его в таблицу как 2000. Хотя социально-экономические данные можно получить непосредственно в ходе переписи населения или с помощью полезного независимого инструмента Census Reporter, мы автоматизировали этот процесс для вас. Census Reporter поделился с нами социально-экономическими данными из последних пятилетних результатов опроса американского сообщества (2016–2021 гг.), которые мы включили во вкладку шаблона электронной таблицы под названием «НЕ РЕДАКТИРОВАТЬ ACS на уровне переписи населения, 5 лет 2021 г.».
Данные переписи организованы в виде географической иерархии (штат, округ, город и т. д., все вплоть до «переписного блока»). В качестве шаблона электронной таблицы мы используем социально-экономические оценки переписи населения для переписного участка каждого адреса. Для нашей первоначальной исследования крупных городов, но участки дают более надежные оценки населения в менее густонаселенных регионах. Поскольку мы хотели, чтобы этим справочником можно было пользоваться по всей стране, мы настроили систему для импорта данных по участкам.
Важно отметить, что в переписных районах насчитывается от 480 до 3200 единиц жилья (и от 1200 до 8000 человек). Если вы планируете собирать данные в небольшом городе, вы практически не увидите различий в социально-экономических факторах, поскольку каждый адрес будет находиться в одном и том же переписном участке или нескольких участках. В этом случае вы можете сравнить данные по вашему городу с данными, которые вы собираете по другим городам поблизости (или по всему округу). Это происходит потому, что интернет-провайдер заметил, что вы не используете его веб-сайт по назначению (покупка его продуктов или услуг), и установил «ограничена по скорости» или заблокировала для вашего IP-адреса ввод дополнительных адресов. Если это произойдет, не волнуйтесь, скорее всего, это временно. Иногда эту проблему можно обойти, удалив файлы cookie в веб-браузере или переключившись на другой браузер на своем устройстве.
Другой вариант — сменить IP-адрес с помощью VPN или просто переехать в другое место. Вы также можете приостановить сбор данных на день или два, а затем повторить попытку. Ограничение скорости на веб-сайтах интернет-провайдеров — одна из причин, по которой подобные расследования лучше подходят для группы людей, чем для отдельных лиц, работающих в одиночку. Мы благодарим Кристин Паркер (Институт местной самообеспеченности), Аарона Шилла (Национальный альянс за цифровое внедрение), Билла Каллахана (Подключите свое сообщество) и членов Калифорнийского общественного фонда (Шайну Энглин, Натали Гонсалес и Линдси Скольник). ) за просмотр ранней версии этого руководства.
Мы также благодарим Джо Гермуску (Лаборатория рыцарей Северо-Западного университета) за щедро предоставленный нам файл данных переписи населения. Авторы: Аарон Санкин, Леон Инь
Также опубликовано здесь
Фото Паскаля ван де Венделя на сайте UnsplashПошаговое исследование интернет-планов
1. Выберите географическую область и цель
2. Создать несколько случайных адресов
3. Поместите все в таблицу и отформатируйте ее
средний доход домохозяйства» (столбец N) и «% белых жителей» (столбец Q), см. в разделе «< a href="https://themarkup.org/build-your-own-dataset/2023/05/11/slow-internet-find-out-what-side-of-the-digital-divide-youre-on# откуда-дела-социо-экономические-данные-откуда">Откуда взялись социально-экономические данные?» в разделе часто задаваемых вопросов ниже.4. Получить данные интернет-плана
самая быстрая скорость загрузки (Мбит/с)» (столбец R) и «самая быстрая цена» (столбец S), но вы можете изменить их (или создать новые). столбцы) для тех показателей, которые, по вашему мнению, наиболее важны для вашего сообщества, на основе результатов этого первоначального теста.5. Анализ результатов
надежен ли доход?» (столбец O) и «надежен ли расовый статус?» (столбец P) равным TRUE, если оценки имеют «высокую» или «среднюю» надежность.FALSE в них. столбцы, если вы планируете анализировать различия по доходам, расе и этнической принадлежности.6. Поделитесь тем, что нашли
Примечания по бухгалтерскому учету
Часто задаваемые вопросы
Откуда взялись социально-экономические данные?
Почему сайт интернет-провайдера медленно или вообще не загружается?
Благодарности
Оригинал
