Нет четкого гендерного смещения, обнаруженного в исследовании парного программирования - что дальше?

Таблица ссылок

Аннотация и 1 введение

1.1 Платформа Twincode

1.2 Пилотные исследования

1.3 Другие гендерные идентичности и 1.4 структура бумаги

2 Связанная работа

3 оригинальное исследование (Seville Dec, 2021) и 3,1 участников

3.2 Эксперимент. Выполнение

3.3 Факторы (независимые переменные)

3.4 Переменные ответа (зависимые переменные)

3.5 Смешающие переменные

3.6 Анализ данных

4 Первая репликация (Беркли, май, 2022)

4.1 участники

4.2 Эксперимент. Выполнение

4.3 Анализ данных

5 Обсуждение и угрозы достоверности и 5.1 Операционная конструкция причины - лечение

5.2 Операционализация конструкции эффекта - метрики

5.3 Отбор для населения - участники

6 Выводы и будущая работа

6.1 Репликация в разных культурных фонах

6.2 Использование чат-ботов в качестве партнеров и кодирование высказывания на основе искусственного интеллекта

Наборы данных, соблюдение этических стандартов, подтверждения и ссылки

A. Анкета № 1 и № 2.

B. Эволюция пользовательского интерфейса Twincode

C. Пользовательский интерфейс Tag-A-Chat

6 Выводы и будущая работа

После выполнения первоначального исследования и внешней репликации мы можем сделать вывод, что мы не наблюдали какого -либо эффекта лечения гендерного смещения, а также какого -либо взаимодействия между полом воспринимаемого партнера и полом субъекта, в любой из 45 переменных ответа в первоначальном исследовании.

Что касается внешней репликации, мы наблюдали только статистически значимые эффекты в экспериментальной группе, то есть сравнивая, как субъекты действовали, когда они думали, что их партнер - это мужчина или женщина, в четырех из 45 зависимых переменных. Одна переменная была связана с изменениями в поведении (делеции исходного кода), а остальные три были связаны с относительной частотой различных типов высказываний чата (неформальные сообщения, размышления и да/нет вопросов). В случае удаления исходного кода субъекты удаляли больше персонажей, когда они воспринимали своих партнеров как женщину, но относительная частота неформальных сообщений, размышлений и да/отсутствие вопросов была выше, когда они воспринимали своих партнеров как человека. Мы также наблюдали более низкую эффективность лечения в репликации, которая может быть вызвана изменениями гендерных аватаров, а также для использования удаленной настройки вместо контролируемой среды, такой как лабораторная сессия, свободная от отвлечения и перерывов. Эта более низкая эффективность лечения привела к небольшому количеству выбранных субъектов в экспериментальной группе, что приводит к тщательному рассмотрению результатов репликации из -за небольшой выборки, на которой они основаны, и поскольку применены корректировки FDR, остается значительным результатом относительной частоты неформальных сообщений.

Эти результаты подняли ряд потенциальных вопросов исследования, которые мы планируем решить в будущем, и которые кратко описаны ниже.

6.1 Репликация в разных культурных фонах

Культурные различия между испанскими и американскими студентами могли также повлиять на результаты обоих исследований, поэтому мы хотели бы воспроизвести его в других странах и проанализировать эти потенциальные различия, вызванные культурным опытом.

6.2 Использование чат-ботов в качестве партнеров и кодирование высказывания на основе искусственного интеллекта

Еще две линии исследования, которые мы хотели бы изучить в будущем, - это использование чат -ботов в качестве партнеров для парных программирования и использование глубокого обучения для автоматического кодирования высказываний чата, что уменьшает ручные усилия по выполнению репликации.

Вдохновленный текущими тенденциями в психологии [4, 24] и принимая во внимание не только отсутствие значительных различий между группами в первоначальном исследовании и репликации, но и трудностями в привлечении соответствующего числа субъектов, мы рассматриваем возможность перейти от дизайна между группами в субъект, в котором каждый субъект выполняет пары, прорабатывающие такие, как имуществу, а не в человеке. Очевидно, что разработка такого чат-бота не является тривиальной задачей, но текущие достижения в этой области, такие как Lamda [10], Bert [14] или GPT-3 [37], делают этот подход, который стоит изучить. Очень актуальным аспектом в разработке такого чат -бота является избегание гендерного предвзятости в данных обучения, как недавно изучалось [39].

С другой стороны, теперь, когда у нас есть соответствующее количество кодированных высказываний в чате на испанском и английском языке, мы могли бы использовать этот помеченный набор данных для тонкого обучения крупной языковой модели системы, аналогичной тем, которые используются в чат -ботах для классификации намерений пользователей и применения его для автоматического кодирования высказываний в чате, которая является одной из самых временных задач, которые мы выполняли в качестве эксперимента в нашем исследовании. Если бы результаты такой тонкой подготовленной системы были точными, будущие репликации потребовали бы гораздо меньших усилий, чем два, представленные в этой статье, и смещение экспериментатора было бы значительно смягчено.

Наборы данных

Наборы данных, сгенерированные и проанализированные во время текущего исследования, доступны в репозитории Zenodo, https://doi.org/10.5281/zenodo.6783717.

Соответствие этическим стандартам

Авторы заявили, что у них нет конфликта интересов с каким -либо аспектом сообщенных исследований.

Протоколы эксперимента были одобрены Институциональным контрольным советом (IRB) в Калифорнийском университете в Беркли. В Университете Севильи только исследования с участием экспериментальных животных или биомедицинских экспериментов с участием людей должны быть одобрены Комитетом по этике по экспериментам, поэтому в этом случае не требовалось одобрения.

Благодарности

Мы хотели бы поблагодарить студентов, которые вызвались участвовать в пилотных исследованиях, первоначального эксперимента и первой репликации в университетах Севильи (США) и Калифорнии Беркли (UCB). Мы также хотим поблагодарить Дэвида Бринкау (студента бакалавриата в нас) за их поддержку в разработке платформы Twincode; Хосе Сандовал (студент Мастера в нас) для разработки «Tag-a-Chat», инструмента для совместной работы для помещения высказываний чата; и Daewon Kwon и Karim El Refai (студенты UCB) за их поддержку в эволютивных изменениях в платформе Twincode и в эксперименте в UCB. Мы особенно признаем Vron Vance (выпускник UCB, аналитик данных в Google) за их помощь в отношении инклюзивного языка вокруг гендерной идентичности. И последнее, но не менее важное, мы хотели бы поблагодарить анонимных рецензентов за их ценные комментарии и предложения, которые помогли нам улучшить качество и ясность этой статьи.

Эта работа была частично поддержана грантами PID2021–126227NB - C21, PID2021–126227NB - C22, финансируемым MCIN/AEI/10.13039/501100011033 и «ERDF способ создания Европы»; Pyc20 re 084 US, Ekipment-Plus (P18-FR-2895), US-1264651, Memento (US-1381595), финансируемый Junta de Andaluc´ıa/Erdf, UE; FPU19/00666, финансируемый MCIN/AEI/10.13039/501100011033 и «ESF, инвестируя в ваше будущее»; и Университета де Севилья в рамках грантов 2021 года для обмена мобильности профессоров, исследователей и аспирантов между Университетом Севильи и Калифорнийским университетом.

Ссылки

[1] AAUW (2020) The STEM GAP: женщины и девочки в области науки, техники, инженерии и математики. Американская ассоциация университетских женщин, url https://www.aauw.org/resources/research/the-stem-gap/

[2] Акалин А., Вайнман Н., Стасаски К. и др. (2021) Изучает влияние гендерного смещения на парные программирование. В кн.: Материалы 17 -й конференции ACM по международным исследованиям в области компьютерного образования, стр. 435–437, https://doi.org/10. 1145/3446871.3469790

[3] Al-Jarrah A, Pontelli E (2016) об эффективности совместной среды виртуальной парной программы. В кн.: Международная конференция по технологиям обучения и сотрудничества, стр. 583–595

[4] Bendig E, Erb B, Schulze-Tehesing L, et al (2019). Следующее поколение: чат-боты в клинической психологии и психотерапии для развития психического здоровья-обзор. Verhaltensherapie https://doi.org/10.1159/000501812

[5] Benjamini Y, Yekutieli D (2001) Контроль скорости ложных обнаружений при множественном тестировании в зависимости. Анналы статистики 29 (4): 1165–1188. URL http://www.jstor.org/stable/2674075

[6] Chaparro EA, Yuksel A, Romero P, et al. (2005) Факторы, влияющие на воспринимаемую эффективность парного программирования в высшем образовании. В кн.: Труды 17 -го семинара группы психологии программирования интересов

[7] Choi KS (2013) Оценка гендерной значимости в контексте парного программирования. В: Материалы Гавайской международной конференции по системным наукам, стр. 4817–4825

[8] Choi KS (2015) Сравнительный анализ различных комбинаций гендерных пар в парных программировании. Поведение и информационные технологии 34 (8): 825–837 [9] Коэн Л., Манион Л., Моррисон К. (2018) Методы исследования в области образования, 8 -е изд. Routledge

[10] Коллинз Э., Гахрамани З. (2021) Ламда: Наша технология прорыва. Google Research, URL https://blog.google/technology/ai/lamda/

[11] Cruz M, Bernardez B, Dur ´ A A, et al. (2022) Основанный на модели подход для определения изменений в репликациях эмпирических исследований в области компьютерных наук. Вычислительный URL https://doi.org/10.1007/S00607-022-01133-x

[12] Da Silva Estacio BJ, Prikladnicki R (2015) Распределенное парное программирование: систематический обзор литературы. Информационная и программная технология 63: 1–10

[13] Дензин Н.К. (2006) Социологические методы: источник, 5 -е изд. Альдинская транзакция

[14] Девлин Дж., Чанг М.В., Ли К. и др. (2019) Берт: предварительное обучение глубоких двунаправленных трансформаторов для понимания языка. В: Материалы конференции Североамериканской главы Ассоциации вычислительной лингвистики 2019 года: технологии человеческого языка, том 1 (длинные и короткие документы), Миннеаполис, Миннесота, стр. 4171–4186, https://doi.org/10.18653/v1/n19-1423, URL https://aclanthology.org/n19-1423

[15] Dimock M (2019) Определение поколений: где заканчивается миллениалы и начинается поколение Z. URL https://pewrsr.ch/2szqtjz

[16] Дюран А., Ферн Андес П., Берн «Ардес Б. и др. (2021) гендерная смещение в удаленной паре» программирование среди студентов -разработчиков программного обеспечения: исследование Twincode. В: Труды ESEM 2021 - Зарегистрированный трек отчета, url https: //arxiv.org/abs/2110.01962

[17] Eckles D, Kizilcec R, Bakshy E (2016) Оценка последствий сверстников в сетях с проектами поощрения со стороны сверстников. Труды Национальной академии наук 113 (27): 7316–7322

[18] El-Refai K, Kwon D, Brincau D, et al. (2023) Twincode: инструментальная платформа для исследований парного программирования. В: Материалы 54 -го технического симпозиума ACM по информатике Образование V. 2, P 1264, https://doi.org/ 10.1145/3545947.3573239, url https://doi.org/10.1145/3545947.35733399

[19] Falessi D, Juristo N, Wohlin C, et al. (2018) Эмпирические эксперты по разработке программного обеспечения по использованию студентов и специалистов в экспериментах. Эмпирический Softw Eng 23 (1): 452–489. https://doi.org/10.1007/s10664-017-9523-3, url https://doi.org/10.1007/s10664-017-9523-3

[20] Galdo AC, Celepkolu M, Lytle N и др. (2022) Парное программирование в пандемии: понимание удаленного сотрудничества учащихся средней школы. В: Материалы 53 -го технического симпозиума ACM по информатике Образование V. 1, стр. 335–341

[21] Гомес О., Солари М., Кальвач С. и др. (2017) Контролируемый эксперимент по продуктовому протокону парных программирования гендерных комбинаций: предварительные результаты. В кн.: Материалы XX Иберо -Американской конференции по разработке программного обеспечения, стр. 197–210

[22] GraphPad (2023) Какова разница между порядковыми, интервалами и соотношением переменных? Почему я должен заботиться? URL https://t.ly/rxcw

[23] Gravetter FJ, Wallnau LB (2004) Статистика поведенческих наук, 6 -е изд. Wadsworth/Thompson Learning

[24] Грир С., Рамо Д., Чанг Ю.Дж. и др. (2019) Использование чат-бота «Vivibot» для обеспечения позитивных психологических навыков и содействия благополучию среди молодых людей после лечения рака: рандомизированное контролируемое осуществимость. Jmir Mhealth Uhealth 7 (10)

[25] Хэнкс Б., Фицджеральд С., МакКоули Р. и др. (2011) Парные программы в образовании: обзор литературы. Информационное образование 21 (2): 135–173

[26] Ханнай Дж., Аришолм Е., Энгвик Х. и др. (2010) Влияние личности на парные программирование. IEEE транзакции на разработке программного обеспечения 36 (1): 61–80. https: //doi.org/10.1109/tse.2009.41

[27] Hawlitschek A, Berndt S, Schulz S (2022) Эмпирические исследования парного программирования в высшем образовании: обзор литературы. Образование компьютерных наук, стр. 1–29

[28] Хофер С.И. (2015) Изучение гендерного предвзятости в оценке физики: роль опыта преподавания и страны. Международный журнал научного образования 37 (17): 2879–2905

[29] Хоппер Дж. (2014) Как пометить свою 10-балльную шкалу. Versta Research, url https: //verstaresearch.com/blog/how-to-label-your-10-point-scale/

[30] Джарратт Л., Боуман Н.А., Калвер К.С. и др. (2019). Крупное экспериментальное исследование гендерного и парного состава при парном программировании. В кн.: Труды конференции ACM по инновациям и технологиям в области компьютерных наук, стр. 176–181

[31] Katira N, Williams L, Osborne J (2005) для повышения совместимости программистов из парных студентов. В: Международная конференция по разработке программного обеспечения, стр. 625–626, https://doi.org/10.1109/icse.2005.1553618

[32] Kaur Chahal K, Kaur A, Saini M (2021). Исследования и доказательства в области разработки программного обеспечения: от эмпирических исследований до артефактов с открытым исходным кодом, Taylor & Francis Group, Empirical Empirorcial Empural Empural Emaring по использованию парного программирования в качестве педагогического инструмента на курсах высшего образования: систематический обзор литературы, стр. 251–287

[33] Kaur Kuttal S, Gerstner K, Bejarano A (2019) Удаленные парные программы в онлайн -образовании CS: расследование через гендерную линзу. В: Симпозиум IEEE 2019 года по визуальным языкам и человеческим вычислениям (VL/HCC), стр. 75–85, https://doi.org/10.1109/vlhcc.2019.8818790

[34] Kitchenham BA, Pfleeger SL, Hoaglin. Д. и др. (2002) Предварительные рекомендации по эмпирическим исследованиям в области разработки программного обеспечения. IEEE транзакции по разработке программного обеспечения 28 (8): 721–734

[35] Korber P, Motschnig R (2021) Эффекты парного программирования на вводные курсы программирования с визуальными и текстовыми языками. В: 2021 IEEE Frontiers in Education Conference (FIE). IEEE Press, P 1–9, https: // doi. org/10.1109/fie49875.2021.9637186, url https://doi.org/10.1109/fie49875. 2021.9637186

[36] Кулджит Каур Чахал Msamanpreet Kaur (2021) Эмпирические исследования по использованию парного программирования в качестве педагогического инструмента на курсах высшего образования: систематический обзор литературы. Auerbach Publications

[37] Lim R, Wu M, Miller L (2021) Настройка GPT-3 для вашего приложения. OpenAI, URL https://openai.com/blog/customized-gpt-3/

[38] Мартелл Р.Ф., Лейн Д.М., Эмрих С. ​​(1996) Различия мужчин-женала: компьютерное моделирование. Американский психолог 51 (2): 157–158

[39] Макалифф А., Харт Дж., Куттал С.К. (2022) Оценка гендерного смещения в беседах парных программирования с агентом. В: 2022 Симпозиум IEEE по визуальным языкам и человеческим вычислениям (VL/HCC), стр. 1–4, https://doi.org/ 10.1109/vl/hcc53370.2022.9833146

[40] Navarro D (2018) Статистика обучения с R: Учебное пособие для студентов -психологов и других начинающих (версия 0.6). URL https://learningstatisticswithr.com/

[41] Newser (2023) У этого университета есть самые стрессовые студенты. URL https: //www.newser.com/story/330315/10-most-least trended-college-tounds.html

[42] O’Connor C, Joffe H (2020) Достоверность межкодера в качественных исследованиях: дебаты и практические руководящие принципы. Международный журнал качественных методов 19: 1–13

[43] Портер А.А., Вотта Л.Г., Базили В.Р. (1999) Строительство знаний через семьи экспериментов. IEEE транзакции на разработке программного обеспечения 25 (4): 456–473

[44] Rodr´ıguez FJ, Price KM, Boyer KE (2017) Изучение процесса парного программирования: характеристики эффективного сотрудничества. В: Материалы технического симпозиума ACM Sigcse 2017 года по вопросам образования в области компьютерных наук, стр. 507–512

[45] Runeson P (2003) Используя студентов в качестве экспериментальных субъектов - анализ данных для выпускников и первокурсников. В: Труды 7 -я Международная конференция по эмпирической оценке и оценке в разработке программного обеспечения, стр. 95–102

[46] Salleh N, Mendes E, Grundy J и др. (2010). Влияние невротизма на парное программирование: эмпирическое исследование в контексте высшего образования. В: Материалы Международного симпозиума ACM-IEEE 2010 года по эмпирической разработке и измерениям программного обеспечения, стр. 1–10

[47] Salleh N, Mendes E, Grundy J (2011) Эмпирические исследования парного программирования для преподавания CS/SE в высшем образовании: систематический обзор литературы. IEEE Trans Software Eng 37: 509–525. https://doi.org/10.1109/tse.2010.59

[48] ​​Salleh N, Mendes E, Grundy J (2014). Исследование влияния признаков личности на парные программирование в условиях высшего образования через семейство экспериментов. Эмпирическая разработка программного обеспечения 19 (3): 714–752

[49] Самара О., Монзон А (2021) Увеличьте выгорание среди пандемии: перспектива от студента -медика и ученика. Терапевтические достижения в области инфекционных заболеваний 8. https://doi.org/10.1177/20499361211026717, url https://doi.org/10.1177/ 20499361211026717

[50] Sfetsos P, Stamelos I, Angelis L, et al. (2009) Экспериментальное исследование типов личности влияет на эффективность пар в парных программировании. Эмпирическая разработка программного обеспечения 14 (2): 187–226

[51] STEM Women (2021) Процент женщин в статистике STEM. STEM Women, url https://www.stemwomen.com/ women-in-stem-percentages of-women-in-stem-statistics

[52] Стивенс С.С. (1946) О теории масштабов измерения. Science 103 (2684): 677–680. https://doi.org/10.1126/science.103.2684.677, url https: //www.science.org/doi/abs/10.1126/science.103.2684.677

[53] Stotts D, Williams L, N N и др. (2003) Виртуальная команда: эксперименты и опыт с распределенным парным программированием. В: Конференция по экстремальному программированию и гибким методам, стр. 129–141

[54] Изучение международного (2016) студентов в этих США. Университеты находятся под наибольшим стрессом. URL https://www.studyinternational.com/news/ Студенты-mental-health-us-ulinities-Stress/

[55] Сайед М., Нельсон С.К. (2015) Руководство по установлению надежности при кодировании повествовательных данных. Появление взрослой жизни 3 (6): 375–387

[56] Томас Л., Рэтклифф М., Робертсон А. (2003) Кодовые воины и код-а-фобы: исследование по отношению к отношению и программированию пар. В: Труды Sigcse, стр. 363–367

[57] UCLA: статистическая консалтинговая группа (по состоянию на 29 июня 2022 г.) Что означает альфа Кронбаха? URL https://stats.oarc.ucla.edu/spss/faq/ what-does-cronbachs-alpha-mean/

[58] Калифорнийский университет, Беркли (2021) демографическая информация (ограниченный доступ). URL https://calanswers.berkeley.edu/home

[59] Университет Севилья (2021) Статистический ежегодник 2020–2021. URL https: //servicio.us.es/splanestu/ws/anuario2021/aesy20-21.html, английская версия начинается на странице 400

[60] Вернер Л.Л., Хэнкс Б., Макдауэлл С. (2004) Парные программы помогают студентам-информатике. J Eduction Resour Comput 4 (1)

[61] Wohlin C, Runeson P, Host M, et al. (2012) Экспериментирование в программном обеспечении ¨ Инженерность: введение. Спрингер

[62] Xinogalos S, Satratzemi M, Chatzigeorgiou A, et al. (2017) Восприятие учащихся о преимуществах и недостатках распределенных парных заданий программирования. 2017 IEEE Global Engineering Conference (Educon) PP 1513–1521

[63] Ying KM, Martin AC, Rodr´ıguez FJ и др. (2021) CS1 перспективы студентов на гендерный разрыв в информатике: достижение справедливости требует осознания. В: 2021 Конференция по исследованиям в области справедливого и устойчивого участия в технике, вычислениях и технологиях (уважение), IEEE, стр. 1–9

[64] Ying KM, Rodr´ıguez FJ, Dibble AL и др. (2021) Понимание отдаленного опыта сотрудничества женщин в области совместной программы: взаимосвязь между функциями диалога и сообщенными восприятием. Материалы ACM по взаимодействию Humancomputer 4 (CSCW3): 1–29