Общие проблемы с GitHub Copilot (и как их решить)

Таблица ссылок

Аннотация и 1. Введение

2. Методология и 2.1. Исследовательские вопросы

2.2. Сбор данных

2.3. Маркировка данных

2.4. Извлечение данных

2.5. Анализ данных

3. Результаты и интерпретация и 3.1. Тип проблем (RQ1)

3.2. Тип причин (RQ2)

3.3. Тип решений (RQ3)

4. Последствия

4.1. Последствия для пользователей Copilot

4.2. Последствия для команды Copilot

4.3. Последствия для исследователей

5. Угрозы достоверности

6. Связанная работа

6.1. Оценка качества кода, генерируемого Copilot

6.2. Влияние Копилота на практическое развитие и 6.3. Окончательное резюме

7. Выводы, доступность данных, подтверждения, заявление о вкладе и ссылки на кредит

7. Выводы

В этом исследовании мы сосредоточились на проблемах, которые могут столкнуться, которые пользователи могут столкнуться при использовании Github Copilot, а также их основные причины и потенциальные решения. После выявления RQS мы собрали данные из вопросов GitHub, дискуссии GitHub и переполнения стека. После ручного скрининга мы получили 476 выпусков GitHub, 706 дискуссий GitHub и 142 таковых постов, связанных с Copilot, и получили в общей сложности 1355 проблем, 391 причины и 497 решений, основанных на наших критериях извлечения данных. Результаты показывают, что проблема с операцией и проблема совместимости являются наиболее распространенными проблемами, с которыми сталкиваются пользователи. Внутренняя ошибка, ошибка сетевого соединения и проблема совместимости редактора/IDE идентифицирована как наиболее распространенные причины этих проблем. Ошибка, исправленная Copilot, измените конфигурацию/настройку и используйте подходящую версию, являются преобладающим решением. Для пользователей Copilot наши результаты показывают, что они должны тщательно просмотреть свои предложения кода и искать вдохновение от них. IDE или редакторы кодов, которые официально поддерживаются Copilot, могут привести к лучшему пользовательскому опыту. Для команды Copilot важно повысить совместимость и обеспечить поддержку более широкого диапазона IDE и редакторов кода, упростить процесс конфигурации, диверсифицировать предложения кода, улучшая их качество и решает проблемы, связанные с интеллектуальной собственностью и авторским правом. Кроме того, пользователи просят больше параметров настройки для адаптации поведения Copilot и большего контроля над содержимым кода, генерируемого Copilot. Для исследователей мы обнаружили, что для проверки предложений кода требуется дополнительное время при использовании Copilot, что делает функцию объяснения кода особенно ценной. Задачи программирования в разных областях приложений и цель, для которой пользователи используют копилот, следует учитывать при оценке удовлетворенности пользователей с помощью Copilot.

На следующем шаге мы планируем провести промышленное обследование с экспериментами по тестированию кода для оценки реального использования копирований пользователями, а также его производительности с точки зрения безопасности, обслуживания и других аспектов. Учитывая, что появление LLMS, вероятно, приведет к значительному распространению инструментов AI Code Assistant, сравнение между Copilot и другими инструментами на основе LLM содержит ценную информацию.

Доступность данных

Мы поделились ссылкой на наш набор данных в ссылке (Zhou et al., 2024).

Благодарности

Эта работа поддерживается Национальным фондом естественных наук Китая в рамках гранта № 62172311 и 62176099, Фондом естественных наук провинции Хубей в рамках гранта № 2021CFB577 и программы инноваций в области знаний о проекте Ухан-Шугуанг в рамках гранта № 202010801020280.

Заявление о вкладе кредитного авторства

Xiyu Zhou:Концептуализация, исследование, курирование данных, формальный анализ, написание - исходная подготовка проекта.Пенг Лян:Концептуализация, методология, расследование, курирование данных, надзор, написание - обзор и редактирование.Бейки Чжан: Исследование, курирование данных, формальный анализ, написание - оригинальная подготовка проекта.Зенгьян Ли:Концептуализация, методология, письмо - обзор и редактирование.Аакаш Ахмад:Концептуализация, методология, письмо - обзор и редактирование.Мойтаба Шахин:Концептуализация, методология, письмо - обзор и редактирование.Мухаммед Васим:Методология, письмо - обзор и редактирование.

Ссылки

Al Madi, N., 2023. Насколько читабелен код, сгенерированный моделью? Изучение читаемости и визуального осмотра GitHub Copilot, в: Материалы 37 -й Международной конференции по автоматизированной разработке программного обеспечения (ASE), ACM. С. 1–5.

Asare, O., Nagappan, M., Asokan, N., 2023. Является ли копилот Github таким же плохим, как и люди, приводя уязвимости в коде? Эмпирическая разработка программного обеспечения 28, 129.

Austin, J., Odena, A., Nye, M., Bosma, M., Michalewski, H., Dohan, D., Jiang, E., Cai, C., Terry, M., Le, Q., et al., 2021. Программный синтез с большими языковыми моделями. Arxiv Preprint ABS/2108.07732.

Barke S., James, M.B., Polikarpova, N., 2023. Наземный копило: как программисты взаимодействуют с моделями, генерирующими код. Материалы ACM на языках программирования 7, 1–27.

Bird, C., Ford, D., Zimmermann, T., Forsgren, N., Kalliamvakou, E., Lowdermilk, T., Gazit, I., 2023. Полечение с помощью Copilot: ранние понимания и возможности инструментов парного программирования с AI. Очередь ACM 20, 35–57.

Campbell, J.L., Quincy, C., Osserman, J., Pedersen, O.K., 2013. Социологические методы и исследования 42, 294–320.

Cohen, J., 1960. Коэффициент соглашения о номинальных масштабах. Образовательное и психологическое измерение 20, 37–46.

Eclipse, 2019. Рекомендации кода Eclipse. https: // projects.eclipse.org/projects/technology.recommenders.

Fu, Y., Liang, P., Tahir, A., Li, Z., Shahin, M., Yu, J., 2024. Слабые места безопасности кода сгенерированного филота в GitHub. Arxiv Preprint arxiv: 2310.02059.

Gartner, 2023. Gartner идентифицирует 10 лучших стратегических технологических тенденций за 2024 год. Https://www.gartner.com/en/newsroom/press-releases/2023- 10-16-gartner-idedifies-the-top-10-strategic-technology-drendsformfor-2024.

GitHub, 2024a. О GitHub Copilot Enterprise. https: //docs.github.com/en/copilot/github-copilot-enterprise/overview/ ost-github-copilot-enterprise.

GitHub, 2024b. Настройка настройки сети для GitHub Copilot. https://docs.github.com/en/copilot/configuring-github-copilot/ confighation-network-settings-for-github-copilot.

Github, 2024c. Github Copilot · Ваш программист AI Pare. https: //github.com/features/copilot.

Gustavo, S., Hammond, P., Teo, N., Ramesh, K., Brendan, D.G., Siddharth, G., 2023. Потерянный в C: Пользовательский исследование по значениям безопасности больших языковых модельных ассистентов, в: Работа 32 -го Semposium Security (Usenix Security), USENIX. С. 2205–2222.

Imai, S., 2022. Является ли Github Copilot заменить человеческую парную программу? Эмпирическое исследование, в: Материалы 44 -й Международной конференции по разработке программного обеспечения (ICSE): Companion, IEEE. С. 319–321.

Jaworski, M., Piotrkowski, D., 2023. Изучение опыта разработчиков программного обеспечения с использованием инструмента Github Copilot в процессе разработки программного обеспечения. Arxiv Preprint ABS/2301.04991.

Liang, J.T., Yang, C., Myers, B.A., 2024. Крупномасштабный опрос по удобству использования помощников по программированию ИИ: успехи и вызовы, в: Материалы 45-й Международной конференции по разработке программного обеспечения (ICSE), ACM. С. 1–13.

Luan, S., Yang, D., Barnaby, C., Sen, K., Chandra, S., 2019. Аромат: рекомендация кода с помощью поиска структурного кода. Материалы ACM на языках программирования 3, 1–28.

Mastropaolo, A., Pascarella, L., Guglielmi, E., Ciniselli, M., Scalabrino, S., Oliveto, R., Bavota, G., 2023. О ротаемости методов генерации кода: эмпирическое исследование копилот Github, в: Работ 45 -й международной конференции по инженерному программному обеспечению (ICSE), IEE. п. 2149–2160.

Moradi Dakhel, A., Majdinasab, V., Nikanjam, A., Homh, F., Desmarais, M.C., Jiang, Z.M., 2023. Github Copilot AI Parmermormer: актива или ответственность? Журнал систем и программного обеспечения 203, 111734.

Nguyen, N., Nadi, S., 2022. Эмпирическая оценка предложений Github Copilot, в: Материалы 19 -й Международной конференции IEEE/ACM по репозиториям программного обеспечения (MSR), IEEE. С. 1–5.

Pearce, H., Ahmad, B., Tan, B., Dolan-Gavitt, B., Karri, R., 2022. Спящий на клавиатуре? Оценивая безопасность вкладов Github Copilot в: «Слушания 43 -го симпозиума IEEE по безопасности и конфиденциальности (S & P), IEEE. С. 754–768.

Peng S., Kalliamvakou, E., Cihon, P., Demirer, M., 2023. Влияние AI на производительность разработчиков: данные Github Copilot. Arxiv Preprint ABS/2302.06590.

Папа, Т., 2024. Copilot.vim. https://github.com/github/copilot.vim.

Robillard, M., Walker, R., Zimmermann, T., 2010. Рекомендационные системы для разработки программного обеспечения. Программное обеспечение IEEE 27, 80–86.

Runeson, P., Höst, M., 2009. Руководящие принципы для проведения и отчетности исследований тематических исследований в области разработки программного обеспечения. Эмпирическая разработка программного обеспечения 14, 131–164.

Siddiq, M.L., Majumder, S.H., Mim, M.R., Jajodia, S., Santos, J.C., 2022. Эмпирическое исследование запахов кода в методах генерации кода на основе трансформамеров, в: Материалы 22-й Международной рабочей конференции по анализу исходного кода и манипуляции (SCAM), IEEE. С. 71–82.

Sobania, D., Briesch, M., Rothlauf, F., 2022. Выберите свой программирование: сравнение производительности синтеза программы Github Copilot и генетического программирования, в кн.: Работа 24 -й генетической и эволюционной вычислительной конференции (Gecco), ACM. С. 1019–1027.

Stol, K.J., Ralph, P., Fitzgerald, B., 2016. Основанная теория в исследованиях по разработке программного обеспечения: критический обзор и руководящие принципы, в: Материалы 38 -й Международной конференции по разработке программного обеспечения (ICSE), ACM. С. 120–131.

Vaithilingam, P., Zhang, T., Glassman, E.L., 2022. Ожидание против опыта: оценка удобства использования инструментов генерации кода, основанных на крупных языковых моделях, в: Служба 42 -й конференции CHI по человеческим факторам в вычислительных системах (CHI) расширенные рефераты, ACM. С. 1–7.

Wang, C., Hu, J., Gao, C., Jin, Y., Xie, T., Huang, H., Lei, Z., Deng, Y., 2023a. Как практикующие ожидают завершения кода?, В: Материалы 31 -й Совместной европейской конференции по разработке программного обеспечения и симпозиума по основам разработки программного обеспечения (ESEC/FES), ACM. С. 1294–1306.

Wang R., Cheng R., Ford D., Zimmermann, T., 2023b. Исследование и проектирование для доверия к инструментам генерации кодов на основе AI. Arxiv Preprint ABS/2305.11248.

Weisz, J.D., Muller, M., Houde, S., Richards, J., Ross, S.I., Martinez, F., Agarwal, M., Talamadupula, K., 2021. Совершенство не требуется? Партнерство человека-аи в переводе кода, в: Материалы 26-й Международной конференции по интеллектуальным пользовательским интерфейсам (IUI), ACM. п. 402–412.

Wilkinson, L., 2024. Github Copilot приводит к росту выручки на фоне расширения базы абонентов. https://www.ciodive.com/news/github-copilotsubscriber-count-revenue-growth/706201/.

Netistiren, B., Ozsoy, I., Tuzun, E., 2022. Оценка качества генерации кода Github Copilot, в: Материалы 18 -й Международной конференции по прогнозирующим моделям и аналитике данных в разработке программного обеспечения (обещание), ACM. С. 62–71.

Zhang, B., Liang, P., Feng, Q., Fu, Y., Li, Z., 2024. Уточнение цикла. Arxiv Preprint arxiv: 2401.14176.

Zhang, B., Liang, P., Zhou, X., Ahmad, A., Waseem, M., 2023. Демистификация практики, проблемы и ожидаемые особенности использования Copilot Github. Международный журнал по разработке программного обеспечения и инженерии знаний 33, 1653–1672.

Zhao, S., 2023. Github Copilot Chat. https://github.blog/2023-12- 29-github-copilot-chat-now-generally-available-for-organizations и индивидуальные/.

Zhou, X., Liang, P., Zhang, B., Li, Z., Ahmad, A., Shahin, M., Waseem, M., 2024. Набор данных статьи «Изучение проблем, их причины и решения программирования пары AI: исследование с практикующими платежниками обезболивающего коллеги». https://doi.org/10.5281/zenodo.11080113.

Ziegler, A., Kalliamvakou, E., Li, X.A., Rice, A., Rifkin, D., Simister, S., Sittampalam, G., Aftandilian, E., 2024. Измерение воздействия Github Copilot на производительность. Связь ACM 67, 54–63.