Беркли воспроизводит парное исследование программирования с новой студенческой когортой
25 июня 2025 г.Таблица ссылок
Аннотация и 1 введение
1.1 Платформа Twincode
1.2 Пилотные исследования
1.3 Другие гендерные идентичности и 1.4 структура бумаги
2 Связанная работа
3 оригинальное исследование (Seville Dec, 2021) и 3,1 участников
3.2 Эксперимент. Выполнение
3.3 Факторы (независимые переменные)
3.4 Переменные ответа (зависимые переменные)
3.5 Смешающие переменные
3.6 Анализ данных
4 Первая репликация (Беркли, май, 2022)
4.1 участники
4.2 Эксперимент. Выполнение
4.3 Анализ данных
5 Обсуждение и угрозы достоверности и 5.1 Операционная конструкция причины - лечение
5.2 Операционализация конструкции эффекта - метрики
5.3 Отбор для населения - участники
6 Выводы и будущая работа
6.1 Репликация в разных культурных фонах
6.2 Использование чат-ботов в качестве партнеров и кодирование высказывания на основе искусственного интеллекта
Наборы данных, соблюдение этических стандартов, подтверждения и ссылки
A. Анкета № 1 и № 2.
B. Эволюция пользовательского интерфейса Twincode
C. Пользовательский интерфейс Tag-A-Chat
4 Первая репликация (Беркли, май, 2022)
В этом разделе сообщается, что первая репликация, проведенная в Калифорнийском университете в Беркли в мае 2022 года, сосредоточена главным образом на изменениях участников и экспериментального исполнения в отношении первоначального эксперимента, поскольку вопросы исследования и переменные были одинаковыми в обоих исследованиях. Для каждого изменения включена оценка их влияния на четыре типа экспериментальной достоверности, описанную [61], следуя рекомендациям [11] о сообщении о влиянии изменений в репликациях с использованием 7-балльной дискретной шкалы от -3 до +3. Краткое изложение влияния этих изменений представлено в таблице 5, включая этикетки вышеупомянутой шкалы в ее легенде.
4.1 участники
В репликации, проведенной в Калифорнийском университете в Беркли, участники были в основном студенты первого курса, зачисленные на курсы CS61A (структура и интерпретация компьютерных программ) и CS88 (вычислительные структуры в науке о данных). Применяя те же критерии, чем для первоначального эксперимента, окончательное количество действительных субъектов составило 46, расположенное в 23 пар. Только 6 студентов, то есть 3 пары, были исключены из первых 52 участников. Одна пара была сброшена из -за раскрытия их идентичностей во время парных задач программирования; Другая пара была сброшена, потому что один из его партнеров не участвовал в экспериментальных задачах; И третья пара была исключена, потому что они неоднократно потеряли связь с платформой Twincode, и их метрики не могут быть должным образом собраны. Среди оставшихся 46 действительных субъектов 26, идентифицированных как женщина (56,52%), а остальные - как мужчина (43,48%) в процессе регистрации [10].
Обратите внимание, что, вопреки первоначальному эксперименту, процент женщин выше, чем у мужчин, потому что вводные курсы CS61A и CS88 проходят также студенты из других специалистов, обычно с более высоким присутствием женщин, чем в специалистах по информатике, где составляет около 25% [58]. Также обратите внимание, что, несмотря на 6 сброшенных субъектов, процент женщин в контрольных группах (12 женщин, 52,17%) и экспериментальных (14 женщин, 60,87%) были близки друг к другу.
С нашей точки зрения, это изменение в выбранной популяции от третьего курса испанских студентов до первого курса студентов США, и более высокий процент женщин увеличил внешнюю достоверность, но снижение 50% от числа субъектов (46 пар до 23 пар) снижало достоверность заключения.
Авторы:
(1) Амадор Дюран, Институт I3US, Университет де Севилья, Севилья, Испания и лаборатория баллов, Университет де Севилья, Севилья, Испания (amador@us.es);
(2) Пабло Фернандес, Институт I3US, Университет де Севилья, Севилья, Испания и лаборатория баллов, Universidad de Sevilla, Севилья, Испания (pablofm@us.es);
(3) Беатрис Бернардес, Институт I3US, Университет де Севилья, Севилья, Испания и лаборатория баллов, Университет де Севилья, Севилья, Испания (beat@us.es);
(4) Натаниэль Вайнман, Отдел компьютерных наук, Калифорнийский университет, Беркли, Беркли, США (nweinman@berkeley.edu);
(5) Аслахан Акалин, Отдел компьютерных наук, Калифорнийский университет, Беркли, Беркли, США (Asliakalin@berkeley.edu);
(6) Армандо Фокс, Отдел компьютерных наук, Калифорнийский университет, Беркли, Беркли, США (Fox@berkeley.edu).
Эта статья есть
Оригинал