Может ли ИИ исправить свои ошибки? Взгляд на самоопределение логовой логовой
17 июня 2025 г.Таблица ссылок
Аннотация и 1 введение
2 Связанная работа
2.1 Синтез программы
2.2 Инструменты поддержки творчества для анимации
2.3 Денежные инструменты для проектирования
3 Формирующие шаги
4 Система логовой и 4.1 вход
4.2 Предварительная визуальная информация
4.3 Визуально обоснованный синтез кода
5 Оценки
5.1 Оценка: ремонт программы
5.2 Методология
5.3 Выводы
6 Оценка с новичками
7 Обсуждение и 7.1. Отрываны от шаблонов
7.2 Создание кода вокруг визуальных эффектов
7.3 Ограничения
8 Заключение и ссылки
5.1 Оценка: ремонт программы
Затем мы провели оценку, специально сосредоточенную вокруг визуально обоснованной стадии восстановления программы, чтобы методично понять, каковы будут созданы логовая ошибки (RQ3) и были способны
отладки (RQ4). Мы предоставляем эмпирический анализ этого этапа тестирования различных экспериментальных настроек.
5.2 Методология
68% прогонов анимации с самого начала (после синтеза программы) были без ошибок и не требовали ремонта программы. Остальные 32% потребовали этап ремонта программы. На этом этапе мы модулировали 1) гиперпараметт 𝑘 и 2), был ли предоставлен контекст изображения. 𝑘 Верхнее ограничило количество попыток, которые LLM может предпринять для решения ошибки, и было изменено от 1 до 4 попыток. Изменение 𝑘 моделируется после методологии Pass@K, предложенной Humaneval [21], где 𝑘 образцы кода генерируются в попытках решить проблему, а доля решенных задач - решающая скорость. В этом случае структура Pass@K применяется в контексте восстановления / самопозначения программы.
Авторы:
(1) Вивиан Лю, Колумбийский университет (vivian@cs.columbia.edu);
(2) Rubaiat Habib Kazi, Adobe Research (rhabib@adobe.com);
(3) Li-Yi Wei, Adobe Research (lwei@adobe.com);
(4) Мэтью Фишер, Adobe Research (matfishe@adobe.com);
(5) Тимоти Ланглуа, Adobe Research (tlangloi@adobe.com);
(6) Сет Уокер, Adobe Research (swalker@adobe.com);
(7) Лидия Чилтон, Колумбийский университет (chilton@cs.columbia.edu).
Эта статья есть
Оригинал