Как копилот может лучше обслуживать разработчиков
6 июня 2025 г.Таблица ссылок
Аннотация и 1. Введение
2. Методология и 2.1. Исследовательские вопросы
2.2. Сбор данных
2.3. Маркировка данных
2.4. Извлечение данных
2.5. Анализ данных
3. Результаты и интерпретация и 3.1. Тип проблем (RQ1)
3.2. Тип причин (RQ2)
3.3. Тип решений (RQ3)
4. Последствия
4.1. Последствия для пользователей Copilot
4.2. Последствия для команды Copilot
4.3. Последствия для исследователей
5. Угрозы достоверности
6. Связанная работа
6.1. Оценка качества кода, генерируемого Copilot
6.2. Влияние Копилота на практическое развитие и 6.3. Окончательное резюме
7. Выводы, доступность данных, подтверждения, заявление о вкладе и ссылки на кредит
4.2. Последствия для команды Copilot
Предоставьте больше вариантов настройки, чтобы пользователи могли адаптировать поведение Copilot, чтобы соответствовать своему собственному рабочему процессу.Среди 115 запросов функции мы определили 52 экземпляра таких запросов для настройки поведения копилота в различных аспектах, что составляет приблизительно 50%. Некоторые общие запросыУказание типов файлов или рабочего пространства, в котором запускается Copilot.(11),Изменение ярлыков для принятия предложений(10),Принятие предложений кода по строке или слов по слову(9),предотвращение создания филота определенных типов предложений(например, пути файлов, комментарии) (3) и CОфиганг текста цвет и шрифты(3). Наше предыдущее исследование по ожидаемой функции Copilot также указывает на то, что функциональные возможности, предоставленные Copilot, еще не полностью соответствовали требованиям пользователей для гибкого использования инструмента (Zhang et al., 2023). Кроме того, в соответствии с некоторыми из идентифицированных плохих функциональных возможностей (например, восприятие автоматических разбесований мопеля в качестве отвлекающегося, которое также упоминается при изучении Bird et al. (2023)), мы можем различить спрос на настройку поведения копилота. Считается, что степень, в которой поведение Copilot может хорошо адаптироваться к пользовательским привычкам кодирования, является жизненно важным фактором в их решении об использовании Copilot. Поэтому предоставление гибких и удобных параметров настройки очень полезно.
Предоставьте больше способов управления контентом, генерируемым Copilot.Согласно таблице 5, существует лишь небольшое количество решений для проблемы содержимого предложения. Из 59 проблем с содержанием предложений было выявлено только пять решений, что указывает на то, что пользователи могут быть сложными для предоставления идеальных решений для проблем контента, предложенных Copilot. Вывод Copilot по своей природе непредсказуем, и пользователи имеют ограниченные способы управления кодом, сгенерированным Copilot, помимо изменения контекста кода или комментариев кода как такового. Основываясь на нашем наблюдении, такие особенности, какРазрешение пользователей определять стили и соглашения кода, а также выбор нескольких файлов в качестве контекста для Copilot для создания предложений кода, стоит попробовать.
Упростите конфигурацию Copilot и предоставьте поддержку большего количества IDE и кодовых редакторов.Согласно результатам RQ1 и RQ2, проблема совместимости является второй по величине категорией, иВопрос о совместимости редактора/IDEявляется одной из основных причин, которые приводят ко многим операционным вопросам. С точки зрения пользователей, мы также наблюдали много обсуждений, связанных с конфигурацией и настройками Copilot, что делает изменение конфигурации/настройки второго наиболее часто используемого решения. Кроме того, ненадлежащая конфигурация/настройка является пятой наиболее распространенной причиной проблем, связанных с использованием числа копирований. Основываясь на этих результатах, мы считаем, что упрощение процесса конфигурации Copilot для пользователей может значительно улучшить свой опыт. Например, команда Copilot может предложить более подробные рекомендации по установке и конфигурации, предоставить удобные для пользователя параметры конфигурации. Более того, мы определили 72 запроса интеграции, указывая на значительное количество пользователей, выражающих стремление к совместимости спилот в более широком диапазоне IDE и редакторов кода.
Увеличьте разнообразие кодекса, предложенного Copilot, при этом улучшая их качество.В вопросах содержания предложений преобладающими типами являются низкое качество предложения и бессмысленное предложение. Bird et al. (2023) также наблюдали, что Copilot иногда предлагает особые и бессмысленные предложения кода, о чем сообщают пользователи Copilot. Другие предыдущие исследования (например, Vaithilingam et al. (2022), Pearce et al. (2022)) также указывали на проблемы с предложениями кода, предоставленными Copilot с точки зрения качества кода. Однако, по сравнению с проблемами конкретного содержимого кода, предложенного Copilot, мы обнаружили, что пользователи более склонны обсуждать ситуации, когда Copilot не может предоставить ценные предложения кода в качестве проблем на платформах и ответах. Эта тенденция на самом деле отражает одну из основных целей, для которых многие пользователи используют Copilot: они надеются, что Copilot вдохновит их идеи в кодировании. Наблюдения из некоторых случаев проблемы с пользовательским опытом показали, как пользователи могут быть разочарованы, когда все 10 предложений кода, предоставленные Copilot, не имеют разнообразия. Фактически, в дополнение к улучшению качества кода, различные предложения кодирования необходимы для удовлетворения потребностей пользователей для более вдохновляющего кода.
Рассмотрим интеллектуальную собственность и авторские права при сборе данных обучения для Copilot и предоставления предложений кодаПолем Количество вопросов авторских прав и политики выше, чем мы ожидали, и мы наблюдали много связанных проблем со стороны как пользователей, так и владельцев репозитория в процессе извлечения данных. Bird et al. (2023) также заметили некоторые дискуссии о том, как авторские права применяются к предложениям кода, генерируемым Copilot. Между тем, в запросе функции мы заметили, что некоторые пользователи призывают Copilot для представления новых функций, которые предотвращают проблему телеметрии кода. Цель нашего исследования не состоит в том, чтобы предоставить оценку таких проблем или не открытого исходного характера филота. Тем не менее, мы утверждаем, что Copilot должен принять меры для решения этих проблем, предоставляя стабильные и высококачественные услуги генерации кода, защищая конфиденциальность пользователей и интеллектуальную собственность.
Авторы:
(1) Xiyu Zhou, Школа компьютерных наук, Университет Ухан, Ухан, Китай (xiyuzhou@whu.edu.cn);
(2) Пенг Лян (автор -корреспондент), Школа компьютерных наук, Университет Ухан, Ухан, Китай (liangp@whu.edu.cn);
(3) Beiqi Zhang, Школа компьютерных наук, Университет Ухан, Ухан, Китай (zhangbeiqi@whu.edu.cn);
(4) Зенгьян Ли, Школа компьютерных наук, Центральный Китайский Университет, Ухан, Китай (Zengyangli@ccnu.edu.cn);
(5) Аакаш Ахмад, Школа компьютеров и коммуникаций, Университет Ланкастера Лейпциг, Лейпциг, Германия (ahmad.aakash@gmail.com);
(6) Mojtaba Shahin, Школа компьютерных технологий, Университет RMIT, Мельбурн, Австралия (mojtaba.shahin@rmit.edu.au);
(7) Мухаммед Васим, факультет информационных технологий, Университет Цзиваскила, Jyväskylä, Финляндия (muhammad.m.waseem@jyu.fi).
Эта статья есть
Оригинал