Переосмысление парного программирования для эпохи ИИ

Таблица ссылок

Аннотация и 1. Введение

2. Контексты, методы и задачи

3. Смешанные результаты

3.1. Качество и 3,2 производительности

3.3. Обучение и 3,4 стоимости

4. Модераторы

4.1. Типы задач и сложность

4.2. Совместимость

4.3. Коммуникация

4.4. Сотрудничество

4.5. Логистика

5. Обсуждение и будущая работа

5.1. LLM, ваш парный программист?

5.2. LLM, лучший программист?

5.3. LLM, студенческий программист?

6. Заключение, подтверждение и ссылки

6 Заключение

В этом документе обсуждалась концепция программирования пары человека (парного программирования). Мы обнаружили, что программирование как человека-человека, так и пары человека, имеет преимущества и проблемы, но текущие исследования не дали нам четкого ответа на эффективность программирования пар человеческой пары. Human-human pair programming literature yield insights on what study designs should pAIr researchers adopt (e.g., more realistic observations), what outcomes and measures should pAIr researchers use to evaluate their work (e.g., use more valid quality and productivity measurements, and further investigate cost), and what moderators should pAIr researchers consider to further analyze the pAIr process and improve pAIr design (e.g, compatibility, communication, etc.).

В заключение, для оценки пары необходимы более достоверные и всеобъемлющие измерения, можно провести больше сравнений между программированием пары человека против человека и человеком-аи, и больше работ могут изучить, как наилучшим образом поддерживать программирование LLM с пониманием богатой литературы по программированию парной пары человека.

Благодарности

Спасибо членам Лаборатории Кена за то, что он дал отзыв об этой работе. Спасибо доктору Стивену Макнил за то, что он придумал творческое ключевое слово «пар» для этого проекта.

Ссылки

[1] Гати Ахер, Роза I Арриага и Адам Тауман Калай. 2022. Использование больших языковых моделей для моделирования нескольких людей и воспроизведения человеческих предметных исследований. (Август 2022). arxiv: 2208.10264 [cs.cl] http: //arxiv.org/abs/2208.10264

[2] Вольфганг Арендт, Ричард Бубел и Райнер Ханл. 2009. Интегрированное и поддерживаемое инструментами преподавание тестирования, отладки и проверки. В преподавании формальных методов. Springer Berlin Heidelberg, 125–143. https://doi.org/10.1007/978-3-642-04912-5_9

[3] Назер Аль Мади. 2023. Насколько читабелен код, сгенерированный моделью? Изучение читаемости и визуального осмотра GitHub Copilot. В материалах 37 -й Международной конференции IEEE/ACM по автоматической разработке программного обеспечения. Ассоциация компьютерной машины, Нью -Йорк, Нью -Йорк, США, 1–5. https://doi.org/10.1145/3551349.3560438

[4] Мустафа Элли, Фиона Даррох и Марк Тоемман. 2005. Структура для понимания факторов, влияющих на успех парного программирования. В экстремальных программировании и гибких процессах в разработке программного обеспечения. Springer Berlin Heidelberg, Берлин, Гейдельберг, 82–91. https: // doi. org/10.1007/11499053_10

[5] Каролина Алвес де Лима Сальдж и Николас Беренте. 2016. Парное программирование против сольного программирования: что мы знаем после 15 лет исследований?. В 2016 году 49 -я Международная конференция Гавайи по системным наукам (HICSS). 5398–5406. https://doi.org/10.1109/hicss.2016.667

[6] Эрик Аришолм, Ханс Галлис, Тор -Диба и Даг I K Sjoberg. 2007. Оценка парного программирования в отношении сложности системы и опыта программиста. IEEE Trans. Программное обеспечение англ. 33, 2 (февраль 2007 г.), 65–86. https://doi.org/10.1109/tse.2007.17

[7] Овура Асаре, Мейяппан Нагаппан и Н Асокан. 2022. Является ли копилот Гитуба таким же плохим, как и люди, приводя уязвимости в коде? (Апрель 2022 г.). arxiv: 2204.04741 [cs.se] http://arxiv.org/abs/2204.04741

[8] Шраддха Барке, Майкл Б. Джеймс и Надя Поликарпова. 2022. Заземленный копило: как программисты взаимодействуют с моделями, генерирующими код. (Июнь 2022 г.). arxiv: 2206.15000 [cs.hc] http://arxiv.org/abs/ 2206.15000

[9] Кент Бек. 1999. Экстремальное программирование объяснило: принять изменения. Addison-Wesley Longman Publishing Co., Inc., США. https: //dl.acm. org/doi/10.5555/318762

[10] Бретт А. Беккер, Пол Денни, Джеймс Финни-Ансли, Эндрю Люкстонрейли, Джеймс Пратер и Эдди Антонио Сантос. 2023. Программирование сложно - или, по крайней мере, это было: образовательные возможности и проблемы генерации кода ИИ. В материалах 54 -го технического симпозиума ACM по информатике Образование V. 1 (Торонто ON, Канада) (Sigcse 2023). Ассоциация компьютерной машины, Нью -Йорк, Нью -Йорк, США, 500–506. https://doi.org/10.1145/3545945.3569759

[11] Эндрю Бегил и Начиаппан Нагаппан. 2008. Пара программирования: что для меня в нем?. В материалах второго международного симпозиума ACM-IEEE по эмпирической разработке и измерениям программного обеспечения (Kaiserslautern Germany). ACM, Нью -Йорк, Нью -Йорк, США. https: //doi.org/10.1145/1414004.1414026

[12] Кристиан Берд, Дена Форд, Томас Циммерманн, Николь Форсгрен, Эйрини Каллиамваку, Трэвис Лоудермилк и Идан Газит. 2023. Полечение с помощью Roylot: ранние понимания и возможности инструментов парного программирования на основе искусственного искусства. Сист. 20, 6 (январь 2023 г.), 35–57. https: //doi.org/10.1145/3582083

[13] Бобби Боденхаймер, Б Сандерс, М. Р Крамер, К Вишванат, Р. Балачандран, Кадира Белинн и Гаутам Бисвас. 2009. Строительство и оценка анимированных обучаемых агентов. J. Eduction. Технологический Соц (2009). https://www.semanticscholar.org/paper/ 2899AC4DFE209DB4767EC01B5DF337079BADA517

[14] Себастьен Бубек, Варун Чандрасекаран, Ронен Эльдан, Йоханнес Герке, Эрик Хорвиц, Е.Е. Камар, Питер Ли, Инь Тэт Ли, Юаньжи Ли, Скотт Лундберг, Харша Нори, Хамид Паланги, Марко Тулио Риберо и Йи Зханг. 2023. Спарки искусственного общего интеллекта: ранние эксперименты с GPT-4. (Март 2023 г.). arxiv: 2303.12712 [Cs.cl] http://arxiv.org/abs/2303.12712

[15] Чен Цао. 2023. Курсы каркасов CS1 с крупной языковой интеллектуальной системой репетиторов с большой языком. В сопутствующих процессах 28 -й Международной конференции по интеллектуальным пользовательским интерфейсам (Сидней, Новый Южный Уэльс, Австралия) (Companion IUI ’23). Ассоциация компьютерной машины, Нью -Йорк, Нью -Йорк, США, 229–232. https://doi.org/10. 1145/3581754.35844111

[16] E A A a Chaparro, Aybala Yuksel, Pablo Romero и Sallyann Bryant. 2005. Факторы, влияющие на воспринимаемую эффективность парного программирования в высшем образовании. Ежегодный семинар психологии группы по интересам программирования (2005). https: //www.semanticscholar. org/paper/c095f0d9b17cd9c2851000534740e7cc087253fa

[17] Ян Чонг и Том Херлбутт. 2007. Социальная динамика парного программирования. В 29 -й Международной конференции по разработке программного обеспечения (ICSE’07). ieexplore.ieee.org, 354–363. https://doi.org/10.1109/icse. 2007.87

[18] Алистер Кокберн и Л. Уильямс. 2001. Затраты и преимущества парного программирования. Компьютерная наука (2001). https: //www.semanticscholar. org/paper/5ff7b75b20fdbfae23587b660b7093aec2f48e69

[19] Бернардо Хосе да Силва Эстасио и Рафаэль Прикрадникки. 2015. Распределенное парное программирование: систематический обзор литературы. Информационная и программная технология 63 (июль 2015 г.), 1–10. https: //doi.org/10.1016/j.infsof.2015.02.011

[20] Вэй Дай, Джионгао Лин, Флора Джин, Тонггуанг Ли, И-Шан Цай, Драган Гасевич и Гуанлян Чен. 2023. Могут ли крупные языковые модели предоставить обратную связь для студентов? Тематическое исследование на CHATGPT. (Апрель 2023 г.). https://doi.org/10.35542/osf.io/hcgzj

[21] Аргаван Моради Даххель, Вахид Мадждинасаб, Амин Никанджам, Фауссе Хомх, Мишель С Десмарайс, Чжэнь Мин и Цзян. 2022. Github Copilot Parom Progromer: актива или ответственность? Arxiv (2022). https: //doi.org/10.48550/arxiv.2206.15331

[22] Джеймс Финни-Ансли, Пол Денни, Бретт А. Беккер, Эндрю Люкстонрейли и Джеймс Пратер. 2022. Приходят роботы: изучение последствий Codex Openai на вступительное программирование. В Австралийской конференции по компьютерному образованию (виртуальное мероприятие, Австралия) (ACE ’22). Ассоциация компьютерной машины, Нью -Йорк, Нью -Йорк, США, 10–19. https://doi.org/10.1145/3511861.3511863

[23] Сью Фицджеральд, Рене МакКоли, Брайан Хэнкс, Лори Мерфи, Бет Саймон и Кэрол Зандер. 2010. Отладка с точки зрения студентов. IEEE Trans. Образовательный 53, 3 (август 2010 г.), 390–396. https: //doi.org/10.1109/te.2009.2025266

[24] С. Фрейденберг, Пабло Ромеро и Бенедикт дю Булай. 2007. Говоря о разговоре: Является ли разговор промежуточного уровня, ключ к истории успеха в программах пар?. В Agile 2007. Неизвестно, 84–91. https: //doi.org/10.1109/agile.2007.1

[25] Github. [н. д.]. Github Copilot Labs. https://githubnext.com/projects/ copilot-labs/. https://githubnext.com/projects/copilot-labs/ Доступ: 2023-5-19.

[26] Github. 2021. Ваш программист AI Pair: Copilot. https: // github. COM/функции/Копилот. https://github.com/features/copilot доступен: 2022-10-5.

[27] Google. [н. д.]. Бард https://bard.google.com/. https://bard.google. com/ доступ: 2023-5-19.

[28] Кеун-Ву Хан, Эункён Ли и Янгджун Ли. 2010. Влияние агента по обучению сверстников на основе парного программирования в курсе программирования. IEEE Trans. Образовательный 53, 2 (май 2010), 318–327. https://doi.org/10.1109/te.2009.2019121

[29] Брайан Хэнкс, Сью Фицджеральд, Рене МакКоули, Лори Мерфи и Кэрол Зандер. 2011. Парная программирование в образовании: обзор литературы. Вычислительный Наука Образовательный 21, 2 (июнь 2011 г.), 135–173. https://doi.org/10.1080/ 08993408.2011.579808

[30] Джо Е. Ханнай, Эрик Аришолм, Харальд Энгвик и Даг I K Sjoberg. 2010. Влияние личности на парные программирование. IEEE Trans. Программное обеспечение англ. 36, 1 (январь 2010 г.), 61–80. https://doi.org/10.1109/tse.2009.41

[31] Джо Е. Ханнай, Тор Дайбо, Эрик Аришолм и Даг I K Sjøberg. 2009. Эффективность парного программирования: метаанализ. Информационная и программная технология 51, 7 (июль 2009 г.), 1110–1122. https://doi.org/ 10.1016/j.infsof.2009.02.001

[32] Стеффи Хайдиг и Джеральдин Клэрбуут. 2011. Педагогические агенты имеют значение для мотивации и обучения студентов? Обзор образовательных исследований 6, 1 (январь 2011 г.), 27–54. https://doi.org/10.1016/j. Edurev.2010.07.004

[33] Кеннет Холштейн, Винсент Алевен и Никол Раммел. 2020. Концептуальная основа для гибридной адаптивности человека в образовании. Искусственный интеллект в образовании 12163 (июнь 2020 г.), 240. https://doi.org/10.1007/978-3-030-52237-7_20

[34] Джон Дж. Хортон. 2023. Большие языковые модели как моделируемые экономические агенты: чему мы можем научиться у Homo Silicus? (Январь 2023 г.). arxiv: 2301.07543 [econ.gn] http://arxiv.org/abs/2301.07543

[35] Саки Имаи. 2022. Является ли Github Copilot заменой парчам человека? Эмпирическое исследование. В 2022 году IEEE/ACM 44-й Международная конференция по разработке программного обеспечения: Companion Compitulings (ICSE-Companion). ieexplore.ieee.org, 319–321. https://doi.org/10. 1145/3510454.3522684

[36] Рэндалл В. Дженсен. 2005. Парная программа. Accu - Профессионализм при перегрузке программирования 13, 65 (февраль 2005 г.). https: //accu.org/journals/overload/13/65/jensen_254/

[37] Эйрини Каллиамваку. 2022. Исследование: количественная оценка влияния GitHub Copilot на производительность и счастье разработчиков. https://github.blog/2022-09-07-research-quantifing-githubcopilots-impact-on-developer-productivity-and-happiness/. https://github.blog/2022-09-07-research-quantifying-githubcopilots-impact-on-developer-productivity-and-happiness/ Доступ: 2022-10-13.

[38] Sungmin Kang, Juyeon Yoon и Shin Yoo. 2022. Большие языковые модели-это несколько выстрелов: изучение общего воспроизведения общей ошибки на основе LLM. Arxiv (2022). https://doi.org/10.48550/arxiv.2209.11515

[39] Маджид Каземитабаар, Джастин Чоу, Карл Ка -Ма, Барбара Дж. Эриксон, Дэвид Вайнтроп и Тови Гроссман. 2023. Изучение влияния генераторов кодов ИИ на поддержку начинающих учеников во вступительном программировании. (Февраль 2023 г.). arxiv: 2302.07427 [cs.hc] http://arxiv.org/ abs/2302.07427

[40] Шобхан Кумар, Арун Чаухан и Паван Кумар С. 2022. Улучшение обучения с использованием генерации вопросов-ответов для электронной книги с использованием контрастного тонкого T5. В аналитике больших данных. Springer Nature Switzerland, 68–87. https://doi.org/10.1007/978-3-031-24094-2_5

[41] Сандип Каур Куттал, Бали Онг, Кейт Квасни и Питер Роб. 2021. Компромисс для замены человека на агенту в контексте парного программирования: хорошее, плохое и уродливое. В материалах конференции Чи 2021 года по человеческим факторам в вычислительных системах (Yokohama, Япония) (CHI ’21, статья 243). Ассоциация компьютерной машины, Нью -Йорк, Нью -Йорк, США, 1–20. https://doi.org/10.1145/ 3411764.3445659

[42] Джухо Лейнонен, Пол Денни, Стивен Макнейл, Сами Сарса, Сет Бернштейн, Джоан Ким, Эндрю Тран и Арто -Хеллас. 2023. Сравнение кодексов, созданных студентами и крупными языковыми моделями. (Апрель 2023 г.). arxiv: 2304.03938 [cs.cy] http://arxiv.org/abs/2304.03938

[43] Mengjun Li и Ayoung Suh. 2021. Машинозы или человеческий? Литература обзор антропоморфизма в технологии с поддержкой AI. На Гавайях Международной конференции по системным наукам 2021 (HICSS-54). https://aisel.aisnet.org/hicss-54/in/ai_based_assistants/5/

[44] Лиджия Лин, Роберт К Аткинсон, Роберт М Кристоферсон, Стейси С. Джозеф и Кэролайн Дж. Харрисон. 2013. Анимированные агенты и обучение: имеет ли тип словесных отзывов, которые они предоставляют? Вычислительный Образовательный 67 (сентябрь 2013 г.), 239–249. https://doi.org/10.1016/j.compedu.2013.04. 017

[45] Ким Ман Луи и Кит С. Чан. 2006. Производительность пары программирования: новичок - novice против эксперта - эксперта. Инт. J. Hum. Вычислительный Шпилька 64, 9 (сентябрь 2006 г.), 915–925. https://doi.org/10.1016/j.ijhcs.2006.04.010

[46] Мэри Маргарет Луск и Роберт К Аткинсон. 2007. Анимированные педагогические агенты: ли их степень воплощения влияет на статические или анимированные обработанные примеры? Приложение Познание Психол. 21, 6 (сентябрь 2007 г.), 747–764. https://doi.org/10.1002/acp.1347

[47] Фил Магуайр, Ребекка Магуайр, Филипп Хайленд и Патрик Маршалл. 2014. Усовершенствование совместного обучения с использованием парного программирования: кому пользуется? Aishe-J 6, 2 (июнь 2014 г.). https://ojs.aishe.org/index.php/ aishe-j/article/view/141

[48] ​​Ричард Э. Майер. 2014. Принципы, основанные на социальных сигналах в мультимедийном обучении: персонализация, голос, изображение и принципы осуществления. Кембриджский справочник по мультимедийному обучению 16 (2014), 345–370. https://books.google.com/books?hl=en&lr= & id = r3rsawaaqbaj & oi = fnd & pg = pa345 & ots = iuhq53t8qy & sig = 5tqyki_f-7ailmxrluwgtliix3c

[49] Ричард Э. Майер и С Скотт Дапра. 2012. Эффект воплощения в компьютерном обучении с анимированными педагогическими агентами. J. Exp. Психол. Приложение 18, 3 (сентябрь 2012 г.), 239–252. https://doi.org/10.1037/ A0028616

[50] Рене МакКоли, Сью Фицджеральд, Гари Левандовски, Лори Мерфи, Бет Саймон, Линда Томас и Кэрол Зандер. 2008. Отладка: обзор литературы с образовательной точки зрения. Образование компьютерных наук 18, 2 (июнь 2008 г.), 67–92. https://doi.org/10.1080/ 08993400802114581

[51] Чарли Макдауэлл, Линда Вернер, Хизер Баллок и Джулиан Фернальд. 2002. Влияние парного программирования на производительность в начальном курсе программирования. В материалах 33 -го технического симпозиума Sigcse по информатике образование (Цинциннати, Кентукки) (Sigcse ’02). Ассоциация компьютерной машины, Нью -Йорк, Нью -Йорк, США, 38–42. https://doi.org/10.1145/563340.563353

[52] Чарли Макдауэлл, Линда Вернер, Хизер Э Баллок и Джулиан Фернальд. 2006. Парное программирование улучшает удержание, уверенность и качество программы учащихся. Общение ACM 49, 8 (август 2006 г.), 90–95. https://doi.org/10.1145/1145287.1145293

[53] Хуссейн Мозаннар, Гаган Бансал, Адам Фурни и Эрик Хорвиц. 2022. Чтение между строками: моделирование поведения пользователей и затрат в программном программе. Arxiv (2022). https://doi.org/10.48550/ arxiv.2210.14306

[54] Амбар Мурильо и Сара д'Анджело. 2023. Инженерный взгляд на написания помощников для производительности и творческого кода. Второй семинар по интеллектуальным и интерактивным письменным помощникам (2023). https://cdn.glitch.global/d058c114-3406-43be-8a3cd3afff35eda2/paper1_2023.pdf

[55] Лори Мерфи, Сью Фицджеральд, Брайан Хэнкс и Рене МакКоли. 2010. Пара отладки: анализ транзактивного дискурса. В материалах шестого международного семинара по исследованиям в области вычислительного образования (Aarhus, Дания) (ICER ’10). Ассоциация компьютерной машины, Нью -Йорк, Нью -Йорк, США, 51–58. https://doi.org/10.1145/1839594.1839604

[56] Брэд А. Майерс, Эми Дж. Ко, Томас Д. Латаза и Янгзок Юн. 2016. Программисты тоже являются пользователями: ориентированные на человека методы улучшения инструментов программирования. Компьютер 49, 7 (июль 2016 г.), 44–52. https: // doi. org/10.1109/mc.2016.200

[57] Начиаппан Нагаппан, Лори Уильямс, Мириам Ферцли, Эрик Вибе, Кай Ян, Кэрол Миллер и Сюзанна Балик. 2003. Улучшение опыта CS1 с парным программированием. В материалах 34 -го технического симпозиума Sigcse по информатике образование (Reno Navada USA). ACM, Нью -Йорк, Нью -Йорк, США. https://doi.org/10.1145/611892. 612006

[58] N Nguyen и Sarah Nadi. 2022. Эмпирическая оценка предложений Github Copilot от кода. 2022 IEEE/ACM 19 -й Международная конференция по репозиториям программного обеспечения (MSR) (2022). https://doi.org/10. 1145/3524842.3528470

[59] Эми Оган, Саманта Финкельштейн, Элайджа Мэйфилд, Клаудия Д'Амоно, Нобору Мацуда и Джастин Касселл. 2012. «О, дорогой Стейси!»: Социальное взаимодействие, разработка и обучение с обучающими агентами. В материалах конференции Sigchi по человеческим факторам в вычислительных системах (Остин, Техас, США) (CHI ’12). Ассоциация компьютерной машины, Нью -Йорк, Нью -Йорк, США, 39–48. https://doi.org/10.1145/2207676.2207684

[60] Венката Винод Кумар Падманабхуни, Хари Правин Тадипарти и Сагар Мадина Муралидхар Янамадала. 2012. Эффективная практика парного программирования-экспериментальное исследование. Журнал появляющихся тенденций в вычислительных и информационных науках 3, 4 (2012), 471–479. http://www.agilemethod.csie.ncu.edu.tw/agilemethod/ Download/2012pers/2012%20эффективный%20pair%20programming%20practice-%20an%20Expreimental%20Study/Effecty 20pair%20pramming%20practice-%20-й 20-й.

[61] Захари Пардос и Шрейя Бхандари. 2023. Обучение получает различия между CHATGPT и человеческим репетитором, сгенерированным алгеброй. (Февраль 2023 г.). arxiv: 2302.06871 [cs.cy] http://arxiv.org/abs/2302.06871

[62] Хаммонд Пирс, Балех Ахмад, Бенджамин Тан, Брендан Долангавитт и Рамеш Карри. 2021. Спит на клавиатуре? Оценка безопасности взносов Github Copilot в коде. (Август 2021 г.). arxiv: 2108.09293 [CS.CR] http://arxiv.org/abs/2108.09293

[63] Сида Пэн, Эйрини Каллиамваку, Питер Сихон и Мерт Демирер. 2023. Влияние ИИ на производительность разработчиков: данные от Github Copilot. (Февраль 2023 г.). arxiv: 2302.06590 [cs.se] http://arxiv.org/abs/ 2302.06590

[64] Майкл Першейд, Бенджамин Зигмунд, Марсель Тэмол и Роберт Хиршфельд. 2017. Изучение прогресса в практике отладки профессиональных разработчиков программного обеспечения. Журнал качества программного обеспечения 25, 1 (март 2017 г.), 83–110. https://doi.org/10.1007/S11219-015-9294-2

[65] Лора Плонка, Джудит Сегал, Хелен Шарп и Джанет Ван дер Линден. 2011. Сотрудничество в парных программировании: вождение и переключение. В Agile Process в разработке программного обеспечения и экстремальных программ - 12 -я Международная конференция, XP 2011, Мадрид, Испания, 10-13 мая 2011 года. Труды, вып. 77. Неизвестно, 43–59. https://doi.org/10.1007/978-3- 642-20677-1_4

[66] Джеймс Пратер, Брент Н. Ривз, Пол Денни, Бретт Беккер, Джухо Лейнонен, Эндрю Люстон-Рейли, Гаррет Пауэлл, Джеймс Финни-Ансли и Эдди Антонио Сантос. 2023. «Это странно, что он знает, чего я хочу»: удобство использования и взаимодействия с Copilot для начинающих программистов. (Апрель 2023 г.). arxiv: 2304.02491 [cs.hc] http://arxiv.org/abs/ 2304.02491

[67] Дэвид Престон. 2006. Использование совместных исследований в обучении для улучшения парного программирования педагогики. Sigite Newsl. 3, 1 (январь 2006 г.), 16–21. https://doi.org/10.1145/1113378.1113381

[68] Бен Пурьер и Джина Спринт. 2022. Github Copilot в классе: обучение кодирующему с помощью ИИ. J. Comput. Наука Колл. 38, 1 (декабрь 2022), 37–47. https://dl.acm.org/doi/pdf/10.5555/3575618.3575622

[69] Питер Роуд и Сандип Каур Каур Каттал. 2022. Проектирование PairBuddy - разговорного агента для парного программирования. ACM Trans. Comput.- Hum. Взаимодействовать. 29, 4 (май 2022), 1–44. https://doi.org/10.1145/3498326

[70] Норсарема Саллех, Эмилия Мендес и Джон Гранди. 2011. Эмпирические исследования парного программирования для преподавания CS/SE в высшем образовании: систематический обзор литературы. IEEE Trans. Программное обеспечение англ. 37, 4 (июль 2011 г.), 509–525. https://doi.org/10.1109/tse.2010.59

[71] S Sankaranarayanan, S R Kandimalla, S Hasan и другие. 2020. Agentin-The-Ploop: поддержка разговорного агента в обслуживании рефлексии для обучения во время совместного программирования. Искусство Интеллект (2020). https://link.springer.com/chapter/10.1007/978-3-030-52240-7_50

[72] Адваит Саркар, Эндрю Д. Гордон, Карина Негреану, Кристиан Поэлиц, Срути Шриниваса Рагаван и Бен Зорн. 2022. Каково программировать с искусственным интеллектом? (Август 2022). arxiv: 2208.06213 [CS.HC] http://arxiv.org/abs/2208.06213

[73] Ноа Л Шредер, Олусола О Адсоп и Рэйчел Баруш Гилберт. 2013. Насколько эффективны педагогические агенты для обучения? Метааналитический обзор. Журнал исследований в области образовательных вычислений 49, 1 (июль 2013 г.), 1–39. https://doi.org/10.2190/ec.49.1.a

[74] Бен Шнайдерман и Патти Мэйс. 1997. Прямая манипуляция против интерфейсных агентов. Взаимодействие 4, 6 (ноябрь 1997), 42–61. https://doi.org/ 10.1145/267505.267514

[75] Альберто Силлитти, Джанкарло Сукци и Елена Власенко. 2012. Понимание влияния парного программирования на внимание разработчиков: тематическое исследование крупных промышленных экспериментов. В 2012 году 34 -я Международная конференция по разработке программного обеспечения (ICSE) (Цюрих). IEEE, 1094–1101. https://doi.org/10.1109/icse.2012.6227110

[76] Реймунд Сисон. 2009. Исследование влияния парного программирования и размера программного обеспечения на качество программного обеспечения и производительность программиста. В 2009 году 16-я Азиатско-Тихоокеанская конференция по разработке программного обеспечения. 187–193. https://doi.org/10.1109/apsec.2009.71

[77] Джоанна Смит, Джо Тесслер, Эллиот Крамер и Кэлвин Лин. 2012. Использование обзора для обучения тестированию программного обеспечения. В материалах Девятой ежегодной Международной конференции по международным исследованиям в области компьютерного образования (Окленд, Новая Зеландия) (ICER ’12). Ассоциация компьютерной машины, Нью -Йорк, Нью -Йорк, США, 93–98. https://doi.org/10.1145/ 2361276.2361295

[78] Шашанк Сонкар, Люси Лю, Дебшила Басу Маллик и Ричард Дж. Бараниук. 2023. Класс встреч Спок: обучающий образовательный чат -бот на основе принципов обучения науке. (Май 2023). arxiv: 2305.13272 [Cs.cl] http://arxiv.org/abs/2305.13272

[79] W Sun и G Marakas. 2009. Истинная стоимость парного программирования: разработка комплексной модели и теста. Конференция Америки по информационным системам (2009). https://www.semanticscholar.org/ paper/647fc48650e4f19962c8a6feb87f3bdedde9dd04

[80] Ченхао Тан. 2023. О Ай -антропоморфизме - человеко -человеко -средне. https://medium.com/human-cented-ai/onai-antropomorphism-abff4cecc5ae. https://medium.com/humancentered-ai/on-ai-antropomorphism-abff4cecc5ae доступ: 2023-4-23.

[81] Линда Томас, Марк Рэтклифф и Энн Робертсон. 2003. Кодовые воины и код-а-фобы: исследование в отношении отношения и парного программирования. Sigcse Bull. 35, 1 (январь 2003 г.), 363–367. https://doi.org/10.1145/792548. 612007

[82] Х Холден Торп. 2023. Chatgpt - это весело, но не автор. Science 379, 6630 (январь 2023 г.), 313. https://doi.org/10.1126/science.adg7879

[83] Картикеян Умапати и Альберт Дрицхаупт. 2017. Метаанализ парного программирования на курсах компьютерного программирования: последствия для образовательной практики. ACM Trans. Вычислительный Образовательный 17, 4 (август 2017 г.), 1–13. https://doi.org/10.1145/2996201

[84] Приян Ватиллилингем, Тиани Чжан и Елена Л Глассман. 2022. Ожидание против опыта: оценка удобства использования инструментов генерации кода, работающих на крупных языковых моделях. В расширенных рефератах конференции Чи 2022 года по человеческим факторам в вычислительных системах (Новый Орлеан, Ла, США) (CHI EA ’22, статья 332). Ассоциация компьютерной машины, Нью -Йорк, Нью -Йорк, США, 1–7. https: //doi.org/10.1145/3491101.3519665

[85] Зичао Ван, Якоб Вальдес, Дебшила Басу Маллик и Ричард Дж. Бараниук. 2022. На пути к человеческому генерации образовательных вопросов с большими языковыми моделями. В искусственном интеллекте в образовании. Springer International Publishing, 153–166. https://doi.org/10.1007/ 978-3-031-11644-5_13

[86] Лори Уильямс и Ричард Л. Упчерч. 2001. В поддержку программы парной пар. В материалах Тридцати второго технического симпозиума SIGCSE по вопросам образования в области компьютерных наук (Шарлотта Северная Каролина, США). ACM, Нью -Йорк, Нью -Йорк, США. https://doi.org/10.1145/364447. 364614

[87] Лори Уильямс, Эрик Вибе, Кай Ян, Мириам Ферцли и Кэрол Миллер. 2002. В поддержку парного программирования в вступительном курсе компьютерных наук. Вычислительный Наука Образовательный 12, 3 (сентябрь 2002 г.), 197–212. https: //doi.org/10.1076/csed.12.3.197.8618

[88] Дакота Вонг, Остин Котиг и Патрик Лам. 2022. Изучение проверки кода, сгенерированного GitHub Copilot. ACM на языках программирования (2022). https://www.semanticscholar.org/paper/ B5051FEDAF17836F6B2A042CC4AF4155159795C5

[89] Бурук Йетиштирен, Ишик Озсой и Эйз Тюзюн. 2022. Оценка качества генерации кода GitHub Copilot. В 18 -й Международной конференции по прогнозирующим моделям и аналитике данных в разработке программного обеспечения (обещание ’22). https://doi.org/10.1145/3558489.3559072

[90] Альберт Циглер, Эйрини Каллиамваку, Х Алиса Ли, Эндрю Райс, Девон Рифкин, Шон Симистер, Ганеш Ситтампалам и Эдвард Афтандилийский. 2022. Оценка производительности завершения нейронного кодекса. В материалах 6 -го международного симпозиума ACM Sigplan по программированию машин (Сан -Диего, Калифорния, США). ACM, Нью -Йорк, Нью -Йорк, США. https://doi.org/10.1145/3520312.3534864