Изучение смещения кодирования с помощью Twincode
24 июня 2025 г.Таблица ссылок
Аннотация и 1 введение
1.1 Платформа Twincode
1.2 Пилотные исследования
1.3 Другие гендерные идентичности и 1.4 структура бумаги
2 Связанная работа
3 оригинальное исследование (Seville Dec, 2021) и 3,1 участников
3.2 Эксперимент. Выполнение
3.3 Факторы (независимые переменные)
3.4 Переменные ответа (зависимые переменные)
3.5 Смешающие переменные
3.6 Анализ данных
4 Первая репликация (Беркли, май, 2022)
4.1 участники
4.2 Эксперимент. Выполнение
4.3 Анализ данных
5 Обсуждение и угрозы достоверности и 5.1 Операционная конструкция причины - лечение
5.2 Операционализация конструкции эффекта - метрики
5.3 Отбор для населения - участники
6 Выводы и будущая работа
6.1 Репликация в разных культурных фонах
6.2 Использование чат-ботов в качестве партнеров и кодирование высказывания на основе искусственного интеллекта
Наборы данных, соблюдение этических стандартов, подтверждения и ссылки
A. Анкета № 1 и № 2.
B. Эволюция пользовательского интерфейса Twincode
C. Пользовательский интерфейс Tag-A-Chat
1.1 Платформа Twincode
Чтобы поддержать наше исследование, мы разработали платформу программирования удаленных пар Twincode [18], которая управляет (i) регистрацией студентов, собирающих демографические данные; (ii) случайное распределение на экспериментальные и контрольные группы, балансирующие гендерные пропорции, то есть, пытаясь иметь одинаковое количество людей одного пола в обеих группах; (iii) случайное распределение в пары экспериментального контроля; (iv) случайное назначение упражнений по программированию отдельным субъектам и парам; (v) обмен гендерными аватарами между парными упражнениями по программированию для тех субъектов в экспериментальной группе; и (vi) автоматическая коллекция метрик взаимодействия и высказывания чата.
Как показано на рисунке 1, Twincode предлагает редактор исходного кода, в котором учащиеся одновременно разрабатывают решение предложенного упражнения по программированию в JavaScript и могут проверить его в отношении нескольких тестовых случаев. Обратите внимание, что, чтобы способствовать общению, только один партнер может одновременно проверять исходный код и увидеть результаты проверки, которые должны быть переданы другому партнеру, используя окно чата, где им дают указание сотрудничать для решения предлагаемых упражнений. Также обратите внимание, что гендерный аватар отображается только для студента в экспериментальной группе (см. Рисунок 1 (а)), но не для той, которая в контрольной группе (см. Рисунок 1 (b)).
Экспериментаторы могут использовать Twincode для создания новых экспериментальных сеансов, где они могут настраивать, среди других аспектов, типа, число и продолжительность упражнений по программированию, а также учебные сообщения, показанные студентам. При необходимости они также могут разработать новые упражнения по программированию и соответствующие тестовые примеры.
Платформа Twincode находится в постоянной эволюции, и было включено несколько улучшений для удовлетворения некоторых возникающих требований во время нашего исследования, таких как разрешение использования Python в качестве альтернативного языка программирования JavaScript для упражнений по программированию, изменение изображений, используемых в качестве гендерных аватаров (см. Рисунок 9) и улучшение пользовательского интерфейса с инструкциями и гендерным посланием на окне чата (см. На рисунке 16 (см. На рисунке 16 (см. На рисунке 16 (см. На рисунке 16 (см. На рисунке 16 (см. Рисунок 16 и гендерное сообщение. Б).
Как инструмент для компаньона для Twincode, мы также разработали Tag-A-Chat, инструмент, который помогает экспериментаторам кодировать высказывания чата с использованием различных наборов тегов, как показано на рисунке 17 в Приложении B., чтобы помочь экспериментаторам на стадии обучения кодирования, Tag-A-Chat автоматически вычисляет метрики Cohen' Для достижения оценки надежности межкодеров [42, 55] [2].
1.2 Пилотные исследования
После представления очень первоначального подхода к нашему исследованию [2] и получить раннюю отзыв о (i) понятии и внутренней согласованности шкал, используемых в вопросниках; (ii) удобство использования и производительность платформы Twincode; и (iii), применимость кодирования высказывания в чате, основанное на том, что предложено [44] и показано в Таблице 1, два пилотных исследования с ограниченным числом студентов были проведены в Университете Севильи и Калифорнийском университете в Беркли (UC Berkeley) в течение 2020–21 учебного года.
В результате анкеты были реорганизованы в три шкалы, которые были оценены для внутренней согласованности (см. Приложение A), первоначальный набор кодов высказывания чата был дополнен кодами формальности, а производительность и надежность платформы Twincode были улучшены.
1.3 Другие гендерные идентичности
Хотя мы признаем, что многие студенты -разработки программного обеспечения могут не идентифицировать себя как мужчин или женщин, наше первоначальное исследование фокусируется в первую очередь на взаимодействии между студентами, которые идентифицируют как одно из них. Потенциальные предубеждения в взаимодействиях с участием гендерного жидкости, гендерных нереферентных и небийных студентов являются сложной темой, заслуживающей собственного последующего исследования.
1.4 Структура бумаги
Остальная часть бумаги организована следующим образом. В разделе 2 рассматриваются работа, связанная с работой, хотя, насколько нам известно, это первое исследование, специально посвященное влиянию гендерного смещения в пары в парном программировании. Разделы 3 и 4 описывают первоначальное исследование, проведенное в Университете Севилья (декабрь 2021 года) и его первую внешнюю репликацию, выполненную в Калифорнийском университете в Беркли (май 2022 г.) соответственно. В разделе 5 обсуждаются два исследования и угрозы их экспериментальной обоснованности. Наконец, раздел 6 делает выводы и предлагает будущую работу.
![Table 1 Chat utterance tags by [44] augmented with orthogonal informal/formal tags](https://cdn.hackernoon.com/images/fWZa4tUiBGemnqQfBGgCPf9594N2-bk93380.png)
Авторы:
(1) Амадор Дюран, Институт I3US, Университет де Севилья, Севилья, Испания и лаборатория баллов, Университет де Севилья, Севилья, Испания (amador@us.es);
(2) Пабло Фернандес, Институт I3US, Университет де Севилья, Севилья, Испания и лаборатория баллов, Universidad de Sevilla, Севилья, Испания (pablofm@us.es);
(3) Беатрис Бернардес, Институт I3US, Университет де Севилья, Севилья, Испания и лаборатория баллов, Университет де Севилья, Севилья, Испания (beat@us.es);
(4) Натаниэль Вайнман, Отдел компьютерных наук, Калифорнийский университет, Беркли, Беркли, США (nweinman@berkeley.edu);
(5) Аслахан Акалин, Отдел компьютерных наук, Калифорнийский университет, Беркли, Беркли, США (Asliakalin@berkeley.edu);
(6) Армандо Фокс, Отдел компьютерных наук, Калифорнийский университет, Беркли, Беркли, США (Fox@berkeley.edu).
Эта статья есть
[2] Несмотря на то, что, хотя коммерческие инструменты качественного анализа, такие как MaxQDA (https://www.maxqda.com) или Atlas.ti (https: // atlasti.com), мы решили разработать теги Исследователи используют это бесплатно.
Оригинал