Студентов в Висконсине относят к группе высокого риска из-за их расы и доходов

Эта история была опубликована совместно с Chalkbeat, некоммерческая новостная организация, освещающая вопросы государственного образования. Подпишитесь на рассылку новостей здесь.

Прошлым летом администраторы средней школы Брэдфорда в Кеноше, штат Висконсин, встретились, как и каждый год, чтобы подготовить новый класс девятиклассников. Из списка сотен учащихся средней школы заместитель директора Мэтт Браун и его сотрудники составили список из 30–40 учеников, которым, как они подозревали, будет сложнее всего окончить школу.

Во время летних каникул Браун и его команда просмотрели список и посетили дома каждого ребенка. Сотрудники принесли ученикам футболки, представились родителям, оставили свою контактную информацию и, как они надеялись, произвели положительное первое впечатление.

«Это типа: «Эй, мы хотим подарить тебе кое-что из Брэдфордского оборудования». Теперь ты станешь частью семьи Брэдфордов», — сказал Браун.

«Это как бы звучит с точки зрения: «Эй, мы здесь, чтобы поддержать тебя», а не обязательно: «Эй, твой ребенок действительно напортачил в прошлом году»… потому что мы не хотим, чтобы родители чувствовали себя так же, как вы». уже называют своего ребенка нарушителем спокойствия».

Но в большинстве случаев студенты из списка Брэдфорда для летних визитов попадают туда из-за ярлыка «высокий риск», присвоенного им в результате расово несправедливого алгоритма, созданного штатом Висконсин, который часто вызывает ложную тревогу.

С 2012 года школьные администраторы штата Висконсин, такие как Браун, получали свое первое впечатление о новых учениках от системы раннего предупреждения об отсеве (DEWS), ансамбля алгоритмов машинного обучения, использующих исторические данные, такие как результаты тестов учащихся, дисциплинарные записи, бесплатные или льготные. статус цены на обед и расовая принадлежность — чтобы предсказать, насколько вероятно, что каждый шестиклассник-девятиклассник в штате вовремя окончит среднюю школу.

Дважды в год школы получают список зачисленных учащихся, рядом с каждым именем которого указан цветовой код DEWS: зеленый – для низкого риска, желтый – для среднего риска или красный – для высокого риска отчисления.

Однажды представители органов образования назвали DEWS ключевым инструментом в своем бороться с разрывом в уровне образования в штате.

В то время как 94 процента белых студентов закончили обучение вовремя в прошлом году, только 82 процента латиноамериканцев и 71 процент чернокожих студенты закончили среднюю школу за четыре года. Целью DEWS было предоставление персонализированных прогнозов педагогам как можно раньше, чтобы они могли вмешаться до того, как у ребенка появятся явные признаки того, что он сбивается с пути.

Но после десятилетия использования и миллионов прогнозов The Markup обнаружил, что DEWS может неправильно и негативно влиять на то, как преподаватели воспринимают учащихся, особенно цветных учащихся.

А предстоящее академическое исследование исследователей из Калифорнийского университета в Беркли, которые поделились данными и результатами предварительной публикации с The Markup, показало, что пришел к выводу, что DEWS не смог достичь своей основной цели: повысить процент выпускников среди студентов, которых он называет «высоким риском».

Внутренний анализ справедливости Департамента народного образования (DPI), проведенный в 2021 году, показал, что DEWS генерирует ложные тревоги о том, что чернокожие и латиноамериканские студенты не заканчивают обучение вовремя, значительно чаще, чем их белые одноклассники.

По данным DPI презентация с подведением итогов анализа, которую мы получили по запросу общедоступных записей.

Уровень ложных тревог среди латиноамериканских студентов был на 18 процентных пунктов выше, чем среди белых.

DPI не проинформировал школьных чиновников, использующих DEWS, о полученных результатах и, судя по всему, не изменил алгоритмы за почти два года с тех пор, как пришел к выводу, что DEWS несправедлив.

Презентация DPI, обобщающая анализ справедливости, который мы рассмотрели, не включала базовые показатели ложных тревог среди чернокожих, латиноамериканских и белых студентов, которые DPI использовала для своих расчетов. Также не были включены результаты учеников других рас.

Департамент отказался отвечать на вопросы об анализе, и в ответ на последующий запрос публичных отчетов DPI заявил, что у него нет документации о результатах анализа капитала, кроме презентации. (Видео презентации можно посмотреть здесь.)

Отдельный проверочный тест DEWS Точность данных в марте 2021 года показывает, что они ошибались почти в трех четвертях случаев, когда прогнозировалось, что студент не закончит обучение вовремя.

Студенты, с которыми мы беседовали, были удивлены, узнав о существовании DEWS, и рассказали The Markup, что они обеспокоены тем, что алгоритм использует их расу, чтобы предсказать их будущее и обозначить их как группу высокого риска.

«Это заставляет цветных учеников чувствовать, что они разделены… как будто у них автоматически становится меньше», — сказал Кристофер Лайонс, чернокожий ученик, окончивший среднюю школу Брэдфорда в 2022 году.

Представитель DPI штата Висконсин Эбигейл Светц отказалась отвечать на вопросы о DEWS, но предоставила краткое заявление по электронной почте.

«Является ли DEWS расистским?» Светц написал. «Нет, анализ данных не является расистским. Именно математика отражает наши системы. Реальность такова, что мы живем в обществе, поддерживающем превосходство белой расы, а система образования системно расистская. Вот почему ДОИ нужны такие инструменты, как DEWS, и именно поэтому мы стремимся к равенству в образовании».

В ответ на наши выводы и дополнительные вопросы Светц написал: «У вас фундаментальное непонимание того, как работает эта система. Мы поддерживаем наш предыдущий ответ». В чем заключалось это фундаментальное недоразумение, она не объяснила.

Чтобы собрать воедино то, как DEWS повлияло на учащихся, которых оно оценивало, The Markup изучил неопубликованные исследования DPI, проанализировал данные DEWS на уровне округа за 10 лет, взял интервью у учащихся и школьных чиновников и собрал ответы на опросы в 80 из более чем 400 округов штата о использование ими прогнозов.

Наше исследование показывает, что во многих округах Висконсина используется DEWS (38 процентов из них), принявших участие в нашем опросе, и что технические недостатки алгоритмов усугубляются отсутствием подготовки преподавателей.

DEWS — это добровольная программа, и DPI поощряет преподавателей использовать прогнозы в сочетании с другими локальными данными об учащихся для принятия решений. Агентство не отслеживает, используют ли школы эти прогнозы и как.

Директора, суперинтенданты и другие администраторы рассказали The Markup, что они практически не получили объяснений о том, как DEWS рассчитывает свои прогнозы или как перевести ярлык «высокий риск» в соответствующее вмешательство.

В таких округах, как Кеноша, цветным учащимся не нужны данные, чтобы понять последствия осуждения со стороны предвзятых систем. В 2020 году город попал в заголовки национальных новостей после полицейский расстрел Джейкоба Блейка.

А ранее в этом году семья 12-летней чернокожей ученицы подала в суд на Объединенный школьный округ Кеноша после того, как дежурный полицейский, работавший в службе безопасности, применил к ней удушающий захват в столовой ее школы. р>

В 2018 году, когда Лайонс поступил в среднюю школу Брэдфорда, учительницу сняли на видео неоднократно использовал расовые оскорбления перед учениками. В том году DEWS отнес к группе высокого риска 43 процента чернокожих девятиклассников в Кеноше по сравнению с 11 процентами белых девятиклассников.

К этому моменту Лайонс сказал, что уже потерял академическую мотивацию. «Было такое ощущение, что от нас не ожидали многого», — сказал он. «Такое ощущение, что они знали, что нам суждено потерпеть неудачу».

Затем на втором курсе произошло нечто неожиданное: разразилась пандемия COVID-19, занятия стали виртуальными, и, по его словам, его оценки «взлетели» с 2,9 среднего балла до пандемии до 3,8 среднего балла после перехода на дистанционное обучение.

То, что для многих студентов было дезориентирующим перерывом в учебе, для Лайонса стало отсрочкой, позволившей ему сосредоточиться. «У меня не было такого социального давления со стороны учителей или администрации», — сказал он. «Это был только я, компьютер и кто бы то ни было, с кем я разговаривал».

В прошлом году Лайонс начал свой первый год обучения в Карфагенском колледже в Кеноше, получив полную стипендию. Его история иллюстрирует особенности личности, стиля обучения и среды, из-за которых, по мнению некоторых экспертов, контрпродуктивно прогнозировать будущее отдельного учащегося на основе популяционного анализа статистически схожих учащихся.

Тем не менее, системы раннего предупреждения, использующие машинное обучение для прогнозирования результатов учащихся, являются распространено в K-12 и высшее образование. По данным опроса Markup, проведенного во всех 50 штатах, по меньшей мере восемь государственных агентств государственного образования предоставляют алгоритмические системы раннего предупреждения или в настоящее время создают их для будущего использования. Четыре штата не ответили.

Монтана была единственным штатом, помимо Висконсина, который заявил, что изучил, как его система раннего предупреждения работает в различных расовых группах. Представитель Управления народного просвещения Монтаны Брайан О'Лири заявил, что исследование справедливости в его штате еще не завершено.

«Справедливо ли DEWS? Нет...»

В начале и в середине каждого года DEWS рассчитывает вероятность того, что каждый поступающий учащийся шестого-девятого классов окончит среднюю школу вовремя по шкале от 0 до 100.

Оценка 90 означает, что учащиеся со схожими академическими, поведенческими и демографическими характеристиками заканчивали обучение вовремя в 90 процентах случаев в прошлом. Любой студент, чей показатель DEWS (плюс погрешность) ниже 78,5, имеет высокий риск не окончить обучение вовремя.

Чтобы преподавателям было легче понять прогнозы, DPI переводит оценки DEWS в простой формат с цветовой кодировкой. Рядом с именем каждого учащегося на вкладке DEWS информационной системы штата находится метка, показывающая его балл, а также зеленый «низкий», желтый «умеренный» или красный «высокий» риск.

В 2020–21 учебном году более 32 000 учащихся (15 % учащихся шестых–девяти классов штата) были отнесены к группе высокого риска.

Подпись: примеры того, как прогнозы учащихся DEWS отображаются в информационной системе штата. Источник: Краткий обзор данных DPI по DEWS

Эксперты говорят, что система устроена таким образом, что может непреднамеренно исказить мнение преподавателей об учениках и неправильно направить скудные школьные ресурсы. Особое беспокойство вызывает то, насколько сильно DEWS опирается на такие факторы, как раса, инвалидность и семейное благосостояние, которые могут кодировать системную дискриминацию и которые ни школа, ни ученик не могут изменить.

Другие данные, поступающие в DEWS, например уровень дисциплины, имеют явные расовые различия — DPI знает об этом и написал об этом на своем сайте.

«Мне интересно, каким образом эти категории риска подталкивают школы и округа обращать внимание на отдельных людей, а не на структурные проблемы, говоря, что этому ребенку нужны эти вещи, а не на структурные проблемы, которые являются причиной того, что мы видим эти риски», — сказал Толани Бриттон. , профессора педагогики Калифорнийского университета в Беркли, соавтора предстоящего исследования DEWS.

«Я не думаю, что это плохо, что учащиеся получают дополнительные ресурсы, но в то же время создание алгоритмов, связывающих вашу расовую или этническую принадлежность с вашей способностью закончить среднюю школу, кажется опасным путем».

Когда DEWS прогнозирует, что студент закончит обучение, он обычно оказывается прав: в 97 % случаев студенты заканчивают обучение в течение стандартных четырех лет, согласно проверочному тесту 2021 года, который показывает, как алгоритмы работают при тестировании на исторических данных.

Но когда DEWS предсказывал, что студент этого не сделает, он обычно ошибался: согласно тому же тесту, в 74 % случаев студенты заканчивают обучение вовремя.

Частично это сделано намеренно. DPI калибрует DEWS, чтобы охватить широкую сеть и чрезмерно определить учащихся, находящихся под угрозой отчисления.

В статье 2015 года, описывающей DEWS в журнале Educational Data Mining, бывший исследовательский аналитик DPI Джаред Ноулз написал, что DPI «прямо заявил, что мы готовы принять» 25 ложных сигналов о том, что студенты не закончат обучение, если это означает правильное выявление одного отчисленного.

Однако в ходе анализа справедливости компания DPI обнаружила, что алгоритмы не генерируют ложные срабатывания одинаково.

Подпись: снимок экрана из презентации DPI, обобщающей результаты анализа капитала DEWS, проведенного департаментом. Фото: Wisconsin DPI

«С точки зрения непрофессионала: модель чрезмерно идентифицирует белых студентов среди выпускников, пришедших вовремя, в то время как она чрезмерно идентифицирует чернокожих, латиноамериканцев и других цветных студентов среди выпускников, не пришедших вовремя», — написал аналитик-исследователь DPI в примечаниях для презентация.

В презентации не уточняется, какие показатели DEWS квалифицируются как своевременная градация для целей анализа капитала.

Примечания к слайду под названием «Справедливо ли DEWS?» заканчиваются заключением «нет…».

"Они определенно использовали модель, в которой есть систематические ошибки с точки зрения расовой принадлежности студентов, и это действительно нужно исправить", - сказал Райан Бейкер, профессор образования Пенсильванского университета, изучающий системы раннего предупреждения.

«У них были демографические факторы в качестве предикторов, и это приведет к переоценке значения этих переменных и вызовет такой эффект».

↩︎ ссылка

Десятилетие DEWS раскрыто

Недавно группа исследователей, работающая в основном из Калифорнийского университета в Беркли, — докторант Хуан Пердомо, Бриттон и эксперты по алгоритмической справедливости Мориц Хардт и Редьет Абебе — изучили эффективность DEWS с другой точки зрения.

Их исследование с использованием данных DEWS за почти 10 лет, которыми DPI добровольно поделился, представляет собой крупнейший в истории анализ того, как система прогнозирующего раннего предупреждения влияет на успеваемость учащихся.

В то время как в предыдущих исследованиях задавался вопрос, насколько точно работают системы раннего оповещения при сравнении с историческими данными, исследование Калифорнийского университета в Беркли изучает, привело ли DEWS к более качественной градации. показатели для реальных студентов, отнесенных к группе высокого риска.

Исследователи проверили, улучшились ли показатели выпускников у студентов, чьи баллы DEWS были чуть ниже порога 78,5, что относило их к категории высокого риска, по сравнению со студентами, чьи баллы были чуть выше этого порога, помещая их в категорию умеренного риска.

Если бы система работала так, как задумано, учащиеся из категории высокого риска увидели бы улучшение показателей окончания учебы, поскольку они получили дополнительные ресурсы, но исследование показало, что попадание в категорию высокого риска не оказало статистически значимого влияния на то, закончили ли студенты вовремя.

«Нет никаких доказательств того, что прогнозы DEWS каким-либо образом повлияли на вероятность своевременного выпуска», — пишут авторы.

Если бы система работала так, как задумано, и школы направляли бы больше ресурсов на учащихся из группы высокого риска, как предполагает исследование Калифорнийского университета в Беркли, это имело бы иной, но также несправедливый эффект.

«Если школы отбирают учащихся для вмешательства, ранжируя их баллы [DEWS] и отбирая тех, у кого наименьшая прогнозируемая вероятность окончания учебы, учащиеся с недостаточной успеваемостью будут систематически игнорироваться и лишаться приоритета», — пишут авторы.

Это связано с тем, что прогнозируемые DEWS показатели выпускников не совсем точно отражают истинные показатели выпускников. Согласно данным, предоставленным The Markup исследователями Калифорнийского университета в Беркли, белые студенты, в частности, заканчивают обучение гораздо быстрее, чем можно было бы предположить по их оценкам DEWS.

Например, цветные студенты, получившие 83 балла по DEWS, в 90 процентах случаев заканчивали обучение вовремя. Это столько же, сколько средний процент выпускников по штату Висконсин в прошлом году.

Белые студенты, набравшие тот же балл DEWS (83), в 93 % случаев заканчивали обучение вовремя, что превышает средний показатель по штату.

Но что особенно важно, белые студенты, получившие значительно более низкие баллы DEWS (63 балла), закончили обучение вовремя практически с той же скоростью, что и белые студенты, набравшие более высокие баллы: в 92 процентах случаев.

Но цветные студенты, получившие 68 баллов DEWS, закончили обучение вовремя только в 81 проценте случаев, что ниже среднего показателя по штату.

Другими словами, если бы преподаватели последовали совету DEWS и отдали предпочтение белым студентам с баллами 63 перед цветными студентами с баллами 68, они бы отдали приоритет студентам, которые в конечном итоге заканчивают обучение с показателями выше среднего, над студентами, которые в конечном итоге заканчивают обучение с показателями ниже среднего. средние ставки.

Исследование пришло к выводу, что эта особенность алгоритма, скорее всего, не усугубила неравенство в Висконсине, поскольку DEWS не улучшает результаты для людей с высоким риском, независимо от расы.

Продвинутые алгоритмы, школьная система второго класса

С первых дней своего существования DPI рекламировал DEWS как экономически эффективный инструмент для борьбы с «неприемлемым» разрывом в успеваемости в штате. Однако система раннего оповещения не была лучшим решением агентства.

В рамках своего двухгодичного бюджетного предложения в 2011 году ДОИ штата Висконсин, которым руководил Тони Эверс, который сейчас является губернатором штата, запросил 20 миллионов долларов на программу грантов «Каждый ребенок — выпускник», которая будет направлять ресурсы непосредственно в испытывающие трудности районы.

В том году 91 процент белых учащихся штата окончили среднюю школу вовремя по сравнению с 64 процентами чернокожих учащихся.

Но у тогдашнего губернатора Скотта Уокера был другой план в отношении государственного образования. Он сэкономил почти 800 миллионов долларов, около 7 процентов, на государственное финансирование государственных школ из двухлетнего бюджета. Сюда входят 20 миллионов долларов на программу «Каждый ребенок – выпускник», из которых администрация Уокера перенаправил 15 миллионов долларов на создание общештатной информационной системы для учащихся, которая будет хранить все данные об учащихся в одном месте.

Отказавшись от программы грантов, но располагая множеством новых данных, DPI искал высокотехнологичное решение проблемы своего разрыва в успеваемости. В 2012 году началось пилотное внедрение DEWS.

На момент создания DEWS была одной из самых передовых систем прогнозного раннего предупреждения в стране.

Ее точность была «на одном уровне с некоторыми из наиболее известных систем, используемых в настоящее время, но она проводилась в более широком масштабе, в более разнообразной школьной среде [и] в младших классах», — говорит Ноулз, бывший аналитик-исследователь DPI. кто создал систему, написал в статье Journal of Educational Data Mining за 2015 год.

DPI быстро решил расширить использование прогнозной аналитики и в 2016 году запустил родственный алгоритм под названием «Система раннего предупреждения о готовности к колледжу и карьере» (CCREWS), который предсказывает, «готовы» или «не готовы» студенты к ACT и колледжу.

В опросе школьных округов Висконсина, проведенном The Markup, семь из 80 респондентов заявили, что используют CCREWS в той или иной степени, по сравнению с 30 округами, которые сообщили об использовании DEWS.

В 2019 году DPI опробовал еще одну алгоритмическую модель на основе DEWS, целью которой было предсказать, какие студенты добьются успеха на курсах AP. Школы в 11 округах подписались на участие в пилотном проекте, но проект был прекращен после начала пандемии COVID-19, согласно документам, полученным по запросу из государственных архивов.

Количество процентных пунктов, на которое сократился разрыв между чернокожими и белыми студентами в Висконсине с 2011 года, за год до запуска пилотного проекта DEWS.

За последнее десятилетие экспериментов штата с алгоритмами прогнозирования неравенство в образовании в Висконсине практически не улучшилось.

Разрыв в успеваемости между чернокожими и белыми студентами сократился всего на четыре пункта с 2011 года, с 27 до 23 процентов. Между тем, разрыв между оценками по чтению чернокожих и белых восьмиклассников в Висконсине составляет худший из всех штатов в стране по всем показателям Национальной оценки прогресса в образовании (NAEP), начиная с 2011 года.

В нем также самый большой разрыв среди всех штатов между черными и белыми восьмиклассниками оценки по математике в каждом НАЭП с 2009 года.

«Вопрос, который я всегда задаю, когда появляются эти данные, заключается не только в том, насколько плохи дела у чернокожих детей, но и в том, почему у белых детей дела идут так хорошо?» — сказала Глория Ладсон-Биллингс, национальный эксперт по вопросам неравенства в образовании и бывший профессор Университета Висконсин-Мэдисон.

«Это не значит, что мы не знаем, как провести этих детей. Проблема в том, что им приходится выглядеть как спортсмены первого дивизиона, чтобы нас это волновало».

Чернокожие и латиноамериканские ученики из Висконсина рассказали The Markup, что часто чувствуют себя частью второсортной школьной системы.

Кеннис Перри, 21-летний студент UW-Parkside, посещал государственные школы Милуоки, в которых 49 процентов чернокожих, а затем переехал в пригород Уокеша, где в школах только 6 процентов чернокожих. Она сказала, что ее детство было трудным, ее семейная жизнь иногда нестабильна, и в школах, вероятно, считали ее ученицей "высокого риска".

«Я был единственным чернокожим ребенком во всех моих классах. Никаких других представлений о людях, похожих на меня, и мои сверстники были крайне расистскими», — сказала она. «Это было действительно травмирующе… Я был так зол и не знал, как выразить свой гнев. Я был несчастен.

Потом, конечно, начались лейблы и всё такое. Но я чувствую, что разница между людьми, которые добиваются успеха, и людьми, у которых этого не получается, заключается в людях, которые вас окружают, как будто у меня были люди, которые заботились обо мне и давали мне второй шанс и все такое. [DEWS] перечислив этих детей из группы риска и их статистику, вы даже не даете им шанса, вы уже вешаете на них ярлык».

Школьный округ Уокеша не ответил на опрос The Markup или просьбу о комментариях. Однако документы, полученные в результате запросов к общедоступным данным, показывают, что средняя школа Уокеша-Норт, которую посещал Перри, подписалась на участие в пилотном проекте алгоритма DPI, предназначенного для прогнозирования того, какие ученики добьются успеха в классах AP.

Государственные школы Милуоки, крупнейший округ штата, не используют DEWS или какое-либо машинное обучение для своей системы раннего предупреждения, написал представитель Стивен Дэвис в электронном письме The Markup. Как и во многих округах и штатах, здесь используется низкотехнологичный подход, при котором учащиеся идентифицируются как успешные или отстающие от успеваемости в зависимости от того, достигли ли они определенных показателей, например отсутствовали в течение заранее определенного количества дней.

В прошлом году учащиеся средней школы Кудахи создали свой первый союз чернокожих студентов в ответ на расистские инциденты, которые, по их мнению, администрация школы не принимала должным образом во внимание.

«Вы знаете, что [белые студенты] уже имеют преимущество», — сказала Миа Таунсенд, младшая и вице-президент Союза чернокожих студентов Кудахи. «Вы уже чувствуете это разделение… У них больше возможностей и больше свободы действий, когда дело касается определенных вещей».

Студенты БГУ естественным образом оказывали друг другу такую ​​же поддержку, которую государство надеялось добиться с помощью своих алгоритмов прогнозирования.

В 2020–21 учебном году экзамены AP сдавали 18 процентов белых учащихся в Висконсине по сравнению с 5 процентами чернокожих учащихся. Таунсенд, отличница, сказала, что она была на пути к тому, чтобы избежать курсов AP, пока ее однокурсник Морис Ньютон, президент БГУ, не убедил ее принять вызов. Она попросила записаться на курсы английского языка AP в следующем году.

«Они создают впечатление, что это сложнее, но, честно говоря, это одно и то же», — сказал Ньютон. «Ты сможешь сдать урок на хорошую оценку».

В ответ на вопросы The Markup о DEWS суперинтендант округа Кудахи Тина Оуэн-Мур поделилась веткой электронной почты, в которой сотрудники заявили, что они не знали о прогнозах и в настоящее время не использовали их, но консультанты «были в восторге от этого ресурса». »

Однако, ознакомившись с нашими выводами, Оуэн-Мур написал: «Это определенно меняет мою точку зрения!!»

«Они просто передали нам данные и сказали: «Разберитесь!»

Многие округа, принявшие участие в опросе The Markup, заявили, что используют прогнозы DEWS так же, как это делают Браун и сотрудники средней школы Брэдфорда в Кеноше, — чтобы определить, какие новые ученики в их зданиях могут потребовать дополнительного внимания.

В школьном округе города Эпплтон кураторы средних школ используют DEWS и другие данные для выявления поступающих первокурсников, нуждающихся в поддержке, и, например, для определения нагрузки на специальное образование.

«В значительной степени» полагаясь на данные DEWS, школьный округ Виннеконн рассылает письма родителям, информируя их, что их ребенок может подвергаться риску, хотя в этих письмах не упоминается алгоритм.

Но некоторые школы нашли для этих данных другое, не по назначению, применение. Например, Сара Крони, руководитель школьного округа Мейпл, рассказала The Markup, что ее сотрудники использовали «воспринимаемые объективные данные» DEWS, чтобы успешно подать заявку на грант на развитие персонала, ориентированный на охват невовлеченных учащихся.

В городе Расин средние школы однажды использовали DEWS для отбора какие ученики будут помещены в специальную программу «Зона, свободная от насилия», которая включает в себя отправку деструктивных учеников в отдельный класс.

Школьный округ Расин «в настоящее время не использует DEWS или CCREWS», — написала в электронном письме представитель Стейси Тэпп.

Многие администраторы, опрошенные The Markup, заявили, что они практически не прошли обучение тому, как DEWS рассчитывает свои прогнозы или как их интерпретировать.

«Они просто передали нам данные и сказали: «Разберитесь»», — сказал Крони. «Поэтому наши директора проанализируют это и решат, кто из детей находится в зоне риска».

DPI предоставляет на своем веб-сайте документацию о том, как работает DEWS и ее предполагаемое использование, но большая часть общедоступных материалов упускает ключевой факт о системе: ее прогнозы частично основаны на расе учащихся, поле, семейном благосостоянии и другие факторы, которые школы не могут контролировать.

Например, Руководство по действиям DEWS департамента. не упоминается, что расовая принадлежность, пол студента или статус бесплатного или льготного обеда являются ключевыми входными переменными для алгоритмов.

На веб-странице DPI, описывающей данные, используемые для создания прогнозов DEWS, перечислены четыре отдельные категории информации: посещаемость, дисциплинарная ответственность. запись, количество округов, посещавших обучение в предыдущем году (мобильность), и результаты тестов штата.

В нем говорится, что «используются демографические атрибуты», но не указано, какие из них и как они влияют на прогнозы.

Аналогичным образом, когда преподаватели просматривают прогнозы DEWS учащихся в информационной системе штата, они могут изучить, как посещаемость учащихся, дисциплинарные записи, мобильность и результаты тестов влияют на общий уровень риска, но им не показано, как демографические особенности учащихся влияют на прогноз. .

Шари Джонсон, директор по учебной программе и обучению школьного округа Ричленд, сказала, что ее школы начали разрабатывать планы действий и назначать наставников для учащихся «высокого риска» с целью вывести их из этой категории, особенно тех, кто находится в «наибольшем риске». », потому что она сказала, что невозможно быть наставником для всех.

Однако когда она разговаривала с The Markup, она не знала, что такие характеристики, как инвалидность или экономическое положение, влияют на балл учащегося.

«Кто несет ответственность за то, что мы знаем об этих вещах? Это меня беспокоит в этой должности, потому что я узнал об этом только случайно», — сказал Джонсон. «То, что я делаю, напрямую связано с DEWS и имеющейся там информацией, и это меня пугает».

Разрыв между тем, как работает DEWS, и тем, как его понимают преподаватели, не новость для DPI.

В 2016 году исследователи Региональной образовательной лаборатории Среднего Запада написали отчет для DPI, который никогда не публиковался, на основе опроса директоров средних школ о DEWS.

В отчете, который мы получили через запросы к общедоступным данным, делается вывод, что респонденты «желали получить больше обучения и поддержки в том, как определять и контролировать вмешательства» и что «время, деньги и обучение по DEWS» были главными препятствиями для использования системы.< /п>

Директор средней школы Брэдфорда Брайан Гейгер сказал, что он помнит, как слышал о DEWS примерно во время ее запуска, когда он был заместителем директора в другой школе Кеноши, и с тех пор использовал ее для различных целей, включая летние посещения домов.

Теперь Браун, его заместитель директора в Брэдфорде, перенял эту практику. Даже зная, что у DEWS есть недостатки, Браун сказал, что эти прогнозы являются лучшими данными для поступающих студентов, которые у него есть.

«Это не 100-процентный прогноз. По моему мнению, мы как бы используем это как руководство», — сказал он, добавив: «Мне хотелось бы посетить каждый дом всех 1400 детей [зачисленных в среднюю школу Брэдфорда]. У нас нет бюджета на летнюю школу, чтобы сделать это».

Исправление, 11 мая 2023 г.

Предыдущая версия карты в этой статье неправильно включала Гавайи, Неваду, Нью-Джерси, Северную Каролину и Мичиган. В этих штатах используются системы раннего предупреждения, но они не используют алгоритмы или машинное обучение для прогнозирования результатов учащихся.

Авторы: Тодд Фезерс, Ко Брэгг, Джоэл Иствуд, Габриэль Хонгсдусит, Родни Джонсон, Джереми Сингер-Вайн, Мария Пуэртас, & Джилл Джарофф

Также опубликовано здесь

Фото Зигмунда на Unsplash