LLM, ваш парный программист?
23 июня 2025 г.Таблица ссылок
Аннотация и 1. Введение
2. Контексты, методы и задачи
3. Смешанные результаты
3.1. Качество и 3,2 производительности
3.3. Обучение и 3,4 стоимости
4. Модераторы
4.1. Типы задач и сложность
4.2. Совместимость
4.3. Коммуникация
4.4. Сотрудничество
4.5. Логистика
5. Обсуждение и будущая работа
5.1. LLM, ваш парный программист?
5.2. LLM, лучший программист?
5.3. LLM, студенческий программист?
6. Заключение, подтверждение и ссылки
5 Обсуждение и будущая работа
5.1 LLM, ваш парный программист?
До появления инструментов, основанных на LLM, которые утверждают, что являются «вашей программистом в паре AI [26], люди уже разрабатывали системы с AI, которые помогают программистам, таким как инструменты завершения кода (например, Tabnine), системы рефакторирования кода и формальные системы проверки, а также инструменты синтеза кода и отладки. Оценка оценки в основном уделяется дизайну юзабилити, экономической эффективности и производительности [53, 56], но не на выполнимости использования этих инструментов программирования с помощью A-A-A-Advististed в качестве партнера по программированию пар.
Благодаря последним достижениям в области генеративных технологий LLM, коммерческие инструменты для искусственного интеллекта, такие как Copilot, которые способны предлагать предложения кода в реальном времени и обратную связь за пределами автоматического заполнения, похоже, имеют более близкое сходство с партнером из парного программирования [12]. Многие исследования оценили и критиковали способность Copilot генерировать правильные, эффективные [21, 58], безопасные [7, 62], читаемый [3] и проверенный [88] код. Без сомнения, Copilot генерирует дефекты и ошибки в предлагаемом коде, но люди также далеки без ошибок. Программист не может быть и не должен быть идеальным, чтобы внести пользу в опыт парного программирования, но будет ли Copilot квалифицирован как партнер по программированию?
Отвечая на этот вопрос, исследователи начинают изучать динамику взаимодействия между программистами и заявленным программистом AI. Некоторые исследователи выступают против характеристики программирования A-A-A-A-Advisting как парного программирования. Они считают, что аналогия с программированием пар человеческой пары является довольно поверхностным, так как то, что делает программирование парных людей-человеков эффективным (например, продуктивное общение) исчезать в программировании пар человеческой пары. Согласно Sarkar et al. [72], «Программирование с помощью LLM должно рассматриваться как новый способ программирования с его собственными различными свойствами и проблемами».
В этой статье мы использовали фразу «программирование пары человека», просто потому, что мы принимаем определение парного программирования, которое пара работает на одном и том же устройстве и той же задаче, поэтому мы можем удобно сравнить человека и ИИ как партнера по программированию пар. Как было рассмотрено в разделе 3 и разделе 4, Copilot и человеческий партнер имеют множество аналогичных результатов в парных программировании, но модераторы для программирования пар человеческой пары менее изучены. Мы считаем, что это сравнение имеет смысл в том, что оно помогает нам получить информацию для продолжения улучшения инструментов программирования на основе LLM.
Обратите внимание, что в этой статье мы в основном освещали исследования с использованием расширения VSCODE. Такие инструменты, как CHATGPT, могут поддерживать аспект связи лучше, чем Copilot [82], и есть также BARD, разработанные Google [27] и экспериментальная версия лабораторий Copilot Github [25], которые поддерживают больше функциональных возможностей, таких как исправление ошибок, чистые и настраиваемые подсказки. Эти инструменты могут уже улучшить взаимодействие в программном программировании человека и аи в некоторых отношениях, поэтому будущие исследования могут также сравниться с различными инструментами программирования на основе LLM.
Существует еще одна проблема для описания ИИ как парного программиста, после дебатов об антропоморфизировании пользовательских интерфейсов [74] и продолжающегося обсуждения, поскольку ИИ демонстрирует увеличение возможностей для воспроизведения человеческого поведения [43, 80]. Опасение заключается в том, что антропоморфизированный ИИ может ввести в заблуждение дизайнеров и обмануть пользователей, препятствовать агентству пользователей и ответственности, иметь более глубокие этические и социальные риски и в любом случае не могут быть более эффективными.
Однако в образовательной литературе исследователи пытались заставить агентов обеспечить натуралистическое и человеческое взаимодействие со студентами, используя обучаемые агенты [13, 59], педагогические агенты [44, 46, 49], разговорной агент [69, 71] и т. Д. Kuttal et al. [41] исследовали компромисс с использованием агента человека против ИИ в качестве партнера по программированию пар. Они обнаружили, что человеческий мужчина и человеческий, привели к аналогичной производительности, качеству кода и результатам самоэффективности, а также студенты «доверяли и проявляли смирение по отношению к агентам». Они также обнаружили, что агенты искусственного интеллекта успешно облегчают передачу знаний, в то же время не давая логических объяснений или дискуссий.
Эти антропоморфизированные агенты в основном эффективны в улучшении обучения и мотивации [32, 73]. Некоторые объяснили эффекты с использованием теории социальной агентства [49], теории когнитивной нагрузки [44] и социальных сигналов, связанных с мультимедийными принципами обучения [48]. Насколько хорошо мы можем применить эти теории к агентам ИИ, поддерживаемым LLM, и то, что отличается в отрасли, по сравнению с образовательным контекстом, было бы интересно изучить. Приветствуются больше работ для создания общего словаря для этой области.
Авторы:
(1) Qianou Ma (автор -корреспондент), Университет Карнеги -Меллона, Питтсбург, США (Qianouma@cmu.edu);
(2) Тонгшуанг Ву, Университет Карнеги -Меллона, Питтсбург, США (sherryw@cs.cmu.edu);
(3) Кеннет Кодингер, Университет Карнеги -Меллона, Питтсбург, США (koedinger@cmu.edu).
Эта статья есть
Оригинал