Изучение потребностей пользователя и удовлетворения с помощью GitHub Copilot
6 июня 2025 г.Таблица ссылок
Аннотация и 1. Введение
2. Методология и 2.1. Исследовательские вопросы
2.2. Сбор данных
2.3. Маркировка данных
2.4. Извлечение данных
2.5. Анализ данных
3. Результаты и интерпретация и 3.1. Тип проблем (RQ1)
3.2. Тип причин (RQ2)
3.3. Тип решений (RQ3)
4. Последствия
4.1. Последствия для пользователей Copilot
4.2. Последствия для команды Copilot
4.3. Последствия для исследователей
5. Угрозы достоверности
6. Связанная работа
6.1. Оценка качества кода, генерируемого Copilot
6.2. Влияние Копилота на практическое развитие и 6.3. Окончательное резюме
7. Выводы, доступность данных, подтверждения, заявление о вкладе и ссылки на кредит
4.3. Последствия для исследователей
Использование Copilot может изменить процесс кодирования и увеличить временную стоимость проверки предложений кода, что делает код объяснения очень важным.В нашем исследовании непостижимое предложение считается четвертой наиболее распространенной проблемой содержания предложений, и функция объяснения кода также часто запрашивается. Некоторые пользователи упомянули, что предложения кода, генерируемые Copilot, чрезмерно длинные, что приводит к снижению читаемости. Это указывает на то, что когда Copilot предоставляет относительно сложные предложения, или когда пользователям не хватает опыта кодирования в конкретном домене, понимание логики кода и проверка ее правильности может быть трудоемкой. В этом случае пользователи могут воздерживаться от принятия предложений Code о Copilot, поскольку они заставляют их чувствовать потерю контроля над задачей кодирования, согласно исследованию Vaithilingam et al. (2022). Исследование Wang et al. (2023b) также показывает, что использование кода, сгенерированного AI, может привести к существенному давлению рассмотрения. Поэтому мы считаем, что инструменты кодирования ИИ, такие как Copilot, изменят распределение времени, проведенного на различные задачи в разработке программного обеспечения. Как и ожидалось некоторыми пользователями, функция объяснения кода была бы полезна. Чат Github Copilot теперь обычно доступен для организаций и отдельных лиц (Zhao, 2023), который работает на GPT-4. Функция чата позволяет Copilot более гибко взаимодействовать с пользователями, предоставляя потенциал для реализации таких функций, как объяснение кода, рефакторинг кода и обнаружение уязвимости. Для будущих исследований мы планируем изучить, как функция чата может влиять на процесс программирования и повысить эффективность задач кодирования.
Чтобы точно измерить удовлетворенность пользователями с помощью COPILOT, важно рассмотреть задачи программирования в разных областях приложений, а также целей, для которых пользователи используют Copilot.Мы определили относительно мало проблем с содержанием предложений, и одна из потенциальных причин заключается в том, что пользователи менее склонны сообщать о конкретных связанных с кодам вопросов на публичные платформы вопросов и ответов, что указывает на определенную степень терпимости для обработанных AI-ошибочными предложениями (Weisz et al., 2021). Следовательно, результаты нашего исследования могут не полностью отражать удовлетворенность пользователями с помощью содержимого кода, сгенерированного Copilot. Пользователи часто предлагают новые запросы функций, основанные на их индивидуальных потребностях и привычках кодирования в сочетании с их опытом использования Copilot. Некоторые из этих запросов тесно связаны с доменами приложений, которые разрабатывают пользователи Copilot, такие как интерфейсная веб-разработка и разработка игр. Следовательно, уровни удовлетворенности пользователей с помощью Copilot могут варьироваться в зависимости от различных областей приложения. Таким образом, оценка возможностей Copilot через призму отдельных задач программирования, таких как решение алгоритмических задач или написание операторов SQL, может не представлять фактическую удовлетворенность пользователя в других областях приложений. Кроме того, наше предыдущее исследование показало, что пользователи имеют разнообразные цели при использовании Copilot (Zhang et al., 2023), непосредственно влияя на их ожидания. Например, пользователи, стремящиеся быстро понять новые технологии с помощью Copilot, больше связаны с тем, предоставляют ли предложения кода полезные рекомендации по программированию для последующих шагов; И наоборот, те, кто хочет использовать Copilot для повторяющихся задач кодирования, таких как операции CRUD в базе данных, больше связаны с тем, может ли Copilot генерировать правильный код, чтобы уменьшить значительные усилия, которые они потратят на исправление аналогичных проблем в предложениях кода. Следовательно, предполагаемое использование копилота также является критическим фактором, влияющим на удовлетворенность пользователей с помощью Copilot. Сфокусированное исследование удовлетворенности пользователей с помощью Copilot, основанное на этих двух факторах, обеспечит проницательную оценку.
Авторы:
(1) Xiyu Zhou, Школа компьютерных наук, Университет Ухан, Ухан, Китай (xiyuzhou@whu.edu.cn);
(2) Пенг Лян (автор -корреспондент), Школа компьютерных наук, Университет Ухан, Ухан, Китай (liangp@whu.edu.cn);
(3) Beiqi Zhang, Школа компьютерных наук, Университет Ухан, Ухан, Китай (zhangbeiqi@whu.edu.cn);
(4) Зенгьян Ли, Школа компьютерных наук, Центральный Китайский Университет, Ухан, Китай (Zengyangli@ccnu.edu.cn);
(5) Аакаш Ахмад, Школа компьютеров и коммуникаций, Университет Ланкастера Лейпциг, Лейпциг, Германия (ahmad.aakash@gmail.com);
(6) Mojtaba Shahin, Школа компьютерных технологий, Университет RMIT, Мельбурн, Австралия (mojtaba.shahin@rmit.edu.au);
(7) Мухаммед Васим, факультет информационных технологий, Университет Цзиваскила, Jyväskylä, Финляндия (muhammad.m.waseem@jyu.fi).
Эта статья есть
Оригинал