Генерируйте и молитесь: использование SALLMS для оценки безопасности: заключение и ссылки

9 февраля 2024 г.

:::информация Этот документ доступен на arxiv под лицензией CC 4.0.

Авторы:

(1) Мохаммед Латиф Сиддик, факультет компьютерных наук и инженерии, Университет Нотр-Дам, Нотр-Дам;

(2) Джоанна К.С. Сантос, факультет компьютерных наук и инженерии, Университет Нотр-Дам, Нотр-Дам.

:::

Таблица ссылок

• Абстрактное и amp; Введение
• Предыстория и мотивация
• Наша структура: SALLM
• Эксперименты
• Результаты
• Ограничения и угрозы действительности
• Связанные работы
• Выводы и amp; Ссылки

8 Заключение

В этом исследовании мы представляем SALLM — платформу, разработанную специально для оценки способности LLM создавать безопасный код. Эта платформа состоит из трех ключевых элементов: уникального набора данных, наполненного подсказками Python, ориентированными на безопасность, среды тестирования создаваемого кода и новых показателей для оценки результатов модели. В ходе нашего исследования мы использовали структуру SALLM для оценки 5 различных программ LLM.

Ссылки

[1] Опрос разработчиков Stack Overflow, 2021 г., август 2022 г. [Онлайн; доступ 28 августа 2022 г.].

[2] Завершения чата. По состоянию на 25 марта 2023 г., 2023 г.

[3] Ben Athiwaratkun, Sanjay Krishna Gouda, Zijian Wang, Xiaopeng Li, Yuchen Tian, Ming Tan, Wasi Uddin Ahmad, Shiqi Wang, Qing Sun, Mingyue Shang, Sujan Kumar Gonugondla, Hantian Ding, Varun Kumar, Nathan Fulton, Arash Farahani, Siddhartha Jain, Robert Giaquinto, Haifeng Qian, Murali Krishna Ramanathan, Ramesh Nallapati, Baishakhi Ray, Parminder Bhatia, Sudipta Sengupta, Dan Roth, and Bing Xiang. Multilingual evaluation of code generation models. 2022.

[4] Ben Athiwaratkun, Sanjay Krishna Gouda, Zijian Wang, Xiaopeng Li, Yuchen Tian, Ming Tan, Wasi Uddin Ahmad, Shiqi Wang, Qing Sun, Mingyue Shang, Sujan Kumar Gonugondla, Hantian Ding, Varun Kumar, Nathan Fulton, Arash Farahani, Siddhartha Jain, Robert Giaquinto, Haifeng Qian, Murali Krishna Ramanathan, Ramesh Nallapati, Baishakhi Ray, Parminder Bhatia, Sudipta Sengupta, Dan Roth, and Bing Xiang. Multilingual evaluation of code generation models. In The Eleventh International Conference on Learning Representations (ICLR), 2023.

[5] Джейкоб Остин, Огастес Одена, Максвелл Най, Маартен Босма, Генрик Михалевски, Дэвид Дохан, Эллен Цзян, Кэрри Кай, Майкл Терри, Куок Ле и Чарльз Саттон. Синтез программ с большими языковыми моделями. Препринт arXiv arXiv:2108.07732, 2021.

[6] Сатанджив Банерджи и Алон Лави. Метеор: автоматическая метрика для оценки с улучшенной корреляцией с человеческими суждениями. В материалах семинара ACL по внутренним и внешним мерам оценки машинного перевода и/или реферирования, страницы 65–72, 2005 г.

[7] Том Браун, Бенджамин Манн, Ник Райдер, Мелани Суббия, Джаред Д. Каплан, Прафулла Дхаривал, Арвинд Нилакантан, Пранав Шьям, Гириш Састри, Аманда Аскелл, Сандхини Агарвал, Ариэль Герберт-Восс, Гретхен Крюгер, Том Хениган, Ревон Чайлд , Адитья Рамеш, Дэниел Зиглер, Джеффри Ву, Клеменс Винтер, Крис Хессе, Марк Чен, Эрик Сиглер, Матеуш Литвин, Скотт Грей, Бенджамин Чесс, Джек Кларк, Кристофер Бернер, Сэм МакКэндлиш, Алек Рэдфорд, Илья Суцкевер и Дарио Амодей. Языковые модели учатся с небольшим количеством попыток. У Х. Ларошелла, М. Ранзато, Р. Хэдселла, М.Ф. Балкан и Х. Лин, редакторы, «Достижения в области нейронных систем обработки информации», том 33, страницы 1877–1901. Curran Associates, Inc., 2020 г.

[8] Том Б. Браун, Бенджамин Манн, Ник Райдер, Мелани Суббия, Джаред Каплан, Прафулла Дхаривал, Арвинд Нилакантан, Пранав Шьям, Гириш Састри, Аманда Аскелл, Сандини Агарвал, Ариэль Герберт-Восс, Гретхен Крюгер, Том Хениган, Ревон Чайлд, Адитья Рамеш, Дэниел М. Зиглер, Джеффри Ву, Клеменс Винтер, Кристофер Хессе, Марк Чен, Эрик Сиглер, Матеуш Литвин, Скотт Грей, Бенджамин Чесс, Джек Кларк, Кристофер Бернер, Сэм МакКэндлиш, Алек Рэдфорд, Илья Суцкевер и Дарио Амодей. Языковые модели малоэффективны для изучения, 2020 г.

[9] Шубхам Чандел, Колин Б. Клемент, Гильермо Серрато и Нил Сундаресан. Обучение и оценка помощника по науке о данных Jupyter Notebook. Препринт arXiv arXiv:2201.12901, 2022.

[10] Марк Чен, Джерри Творек, Хиву Цзюнь, Цимин Юань, Энрике Понде де Оливейра Пинто и др. Оценка больших языковых моделей, обученных на коде, 2021 г.

[11] Марк Чен, Джерри Творек, Хиву Цзюнь, Цимин Юань, Энрике Понде де Оливейра Пинто, Джаред Каплан, Харри Эдвардс, Юрий Бурда, Николас Джозеф, Грег Брокман, Алекс Рэй, Рауль Пури, Гретхен Крюгер, Майкл Петров, Хейди Клааф Гириш Састри, Памела Мишкин, Брук Чан, Скотт Грей, Ник Райдер, Михаил Павлов, Алетия Пауэр, Лукаш Кайзер, Мохаммад Баварян, Клеменс Винтер, Филипп Тийе, ​​Фелипе Петроски Сач, Дэйв Каммингс, Маттиас Плапперт, Фотиос Шанцис, Элизабет Барнс, Ариэль Герберт-Восс, Уильям Хебген Гасс, Алекс Никол, Алекс Пайно, Николас Тезак, Цзе Тан, Игорь Бабушкин, Сучир Баладжи, Шантану Джайн, Уильям Сондерс, Кристофер Хессе, Эндрю Н. Карр, Ян Лейке, Джош Ахиам, Ведант Мисра, Эван Морикава, Алек Рэдфорд, Мэттью Найт, Майлз Брандейдж, Мира Мурати, Кэти Майер, Питер Велиндер, Боб МакГрю, Дарио Амодей, Сэм МакКэндлиш, Илья Суцкевер и Войцех Заремба. Оценка больших языковых моделей, обученных на коде. Препринт arXiv arXiv:2107.03374, 2021.

[12] Корпорация MITRE. Cwe-328: Использование слабого хеша, 2023 г. [Онлайн; доступ 30 мая. 2023].

[13] Корпорация MITRE. Cwe-78: Неправильная нейтрализация специальных элементов, используемых в команде ОС («внедрение команды ОС»), 2023 г. [Онлайн; доступ 30 мая. 2023].

[14] Джейкоб Девлин, Минг-Вэй Чанг, Кентон Ли и Кристина Тутанова. БЕРТ: Предварительная подготовка глубоких двунаправленных преобразователей для понимания языка. В материалах конференции Североамериканского отделения Ассоциации компьютерной лингвистики 2019 года: технологии человеческого языка, том 1 (длинные и короткие статьи), страницы 4171–4186, Миннеаполис, Миннесота, июнь 2019 года. Ассоциация компьютерной лингвистики.

[15] Хантьян Дин, Варун Кумар, Ючен Тянь, Цзыцзянь Ван, Роб Квятковски, Сяопэн Ли, Мурали Кришна Раманатан, Байшахи Рэй, Парминдер Бхатия и Судипта Сенгупта. Статическая оценка завершения кода с помощью больших языковых моделей. В материалах 61-го ежегодного собрания Ассоциации компьютерной лингвистики (Том 5: Отраслевой трек), стр. 347–360, Торонто, Канада, 2023. Ассоциация компьютерной лингвистики.

[16] Zhangyin Feng, Daya Guo, Duyu Tang, Nan Duan, Xiaocheng Feng, Ming Gong, Linjun Shou, Bing Qin, Ting Liu, Daxin Jiang, and Ming Zhou. CodeBERT: A pre-trained model for programming and natural languages. In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 1536–1547, Online, November 2020. Association for Computational Linguistics.

[17] Лео Гао, Стелла Бидерман, Сид Блэк, Лоуренс Голдинг, Трэвис Хопп, Чарльз Фостер, Джейсон Фанг, Хорас Хе, Аниш Тайт, Ноа Набешима, Шон Прессер и Коннор Лихи. Куча: набор данных объемом 800 ГБ с разнообразным текстом для языкового моделирования, 2020 г.

[18] Юэсю Гао и Чэнь Лю. M2ts: Многомасштабный мультимодальный подход на основе преобразователя для суммирования исходного кода. В материалах 30-й Международной конференции IEEE/ACM по пониманию программ, ICPC '22, стр. 24–35, Нью-Йорк, штат Нью-Йорк, США, 2022. Ассоциация вычислительной техники.

[19] Мохаммад Гафари, Паскаль Гадиен и Оскар Нирстраз. Безопасность пахнет в Android. В 2017 году прошла 17-я международная рабочая конференция IEEE по анализу и манипулированию исходным кодом (SCAM), страницы 121–130. IEEE, 2017 г.

[20] Корделл Грин. Применение доказательства теорем к решению задач. В Proc. 1-го Международного Совместная конф. об искусственном интеллекте, IJCAI’69, стр. 219–239, Сан-Франциско, Калифорния, США, 1969. Morgan Kaufmann Publishers Inc.

[21] Сумит Гулвани, Александр Полозов, Ришаб Сингх и др. Синтез программы. Основы и тенденции® в языках программирования, 4(1-2):1–119, 2017.

[22] Хоссейн Хаджипур, Торстен Хольц, Леа Шенхерр и Марио Фриц. Систематический поиск уязвимостей безопасности в моделях генерации кода «черного ящика». Препринт arXiv arXiv:2302.04012, 2023.

[23] Дэн Хендрикс, Стивен Басарт, Саурав Кадават, Мантас Мажейка, Акул Арора, Итан Го, Коллин Бернс, Самир Пураник, Хорас Хе, Дон Сонг и Джейкоб Стейнхардт. Измерение компетентности в кодировании с помощью APPS. НейрИПС, 2021.

[24] Docker Inc. Docker Hub, 2023 г. [25] GitHub Inc. Второй пилот Github: ваш программист AI Pair, 2022 г. [Онлайн; доступ 10 октября 2022 г.]. [26] GitHub Inc. Использование неработающего или слабого криптографического алгоритма хеширования конфиденциальных данных, 2022 г. [Онлайн; доступ 30 октября 2022 г.].

[27] Общедоступные наборы данных Google Inc. Bigquery, 2022 г.

[28] Сринивасан Айер, Иоаннис Констас, Элвин Чунг и Люк Зеттлмойер. Сопоставление языка с кодом в программном контексте. Препринт arXiv arXiv:1808.09588, 2018.

[29] Малихе Изади, Роберта Жисмонди и Георгиос Гусиос. Codefill: завершение кода с несколькими токенами путем совместного изучения структуры и последовательностей именования. На 44-й Международной конференции по программной инженерии (ICSE), 2022 г.

[30] Сохён Ким, Джинман Чжао, Ючи Тянь и Сатиш Чандра. Прогнозирование кода путем подачи деревьев в преобразователи. В 2021 году пройдет 43-я Международная конференция IEEE/ACM по разработке программного обеспечения (ICSE), страницы 150–162. IEEE, 2021 г.

[31] Денис Кочетков, Раймонд Ли, Лубна Бен Аллал, Цзя Ли, Чэнхао Моу, Карлос Муньос Феррандис, Ясин Джернит, Маргарет Митчелл, Шон Хьюз, Томас Вольф, Дмитрий Богданов, Леандро фон Верра и Харм де Врис. Стек: 3 ТБ исходного кода с разрешительной лицензией. Препринт, 2022.

[32] Сумит Кулал, Панупонг Пасупат, Картик Чандра, Мина Ли, Одед Падон, Алекс Эйкен и Перси С. Лян. Spoc: кодирование псевдокода на основе поиска. В Х. Уоллаке, Х. Ларошелле, А. Бейгельцимере, Ф. д'Альше-Бюке, Э. Фоксе и Р. Гарнетте, редакторах, «Достижения в области нейронных систем обработки информации», том 32. Curran Associates, Inc., 2019.

[33] Yuhang Lai, Chengxi Li, Yiming Wang, Tianyi Zhang, Ruiqi Zhong, Luke Zettlemoyer, Scott Wen-tau Yih, Daniel Fried, Sida Wang, and Tao Yu. Ds-1000: A natural and reliable benchmark for data science code generation. arXiv preprint arXiv:2211.11501, 2022.

[34] Триет Х.М. Ле, Хао Чен и Мухаммед Али Бабар. Глубокое обучение для моделирования и генерации исходного кода: модели, приложения и проблемы. АКМ Компьютер. Surv., 53(3), июнь 2020 г.

[35] Рэймонд Ли, Лубна Бен Аллал, Янтянь Цзы, Никлас Муеннихофф, Денис Коцетков, Чэнхао Моу, Марк Мароне, Кристофер Акики, Цзя Ли, Дженни Чим, Цянь Лю, Евгений Желтоножский, Терри Юэ Чжо, Томас Ван, Оливье Деэн, Мишиг Даваадорж, Жоау Монтейро, Олег Шляжко, Николя Гонтье, Николас Мид, Армель Зебазе, Минг-Хо Йи, Логеш Кумар Умапати, Цзян Жу, Бенджамин Липкин, Мухташам Облокулов, Жируо Ван, Рудра Мурти, Джейсон Стиллерман, Сива Санкальп Патель, Дмитрий Абулханов, Марко Зокка, Манан Дей, Чжихан Чжан, Нур Фахми, Урваши Бхаттачарья, Венхао Ю, Сваям Сингх, Саша Луччиони, Пауло Вильегас, Максим Кунаков, Федор Жданов, Мануэль Ромеро, Тони Ли, Надав Тимор, Дженнифер Динг, Клэр Шлезингер, Хейли Шёлкопф, Ян Эберт, Три Дао, Маянк Мишра, Алекс Гу, Дженнифер Робинсон, Кэролин Джейн Андерсон, Брендан ДоланГэвитт, Датский Контрактор, Сива Редди, Дэниел Фрид, Дмитрий Богданов, Ясин Джернит, Карлос Муньос Феррандис, Шон Хьюз, Томас Вольф, Арджун Гуха, Леандро фон Верра и Харм де Врис. Starcoder: да пребудет с тобой источник! 2023.

[36] Юцзя Ли, Дэвид Чой, Джунён Чунг, Нейт Кушман, Джулиан Шритвизер, Ре ми Леблон, Том Экклс, Джеймс Килинг, Феликс Химено, Агустин Даль Лаго, Томас Юбер, Питер Чой, Сиприен де Массон д'Отюм, Игорь Бабушкин , Синьюнь Чен, По-Сен Хуанг, Йоханнес Велбл, Свен Говал, Алексей Черепанов, Джеймс Моллой, Дэниел Дж. Манковиц, Эсме Сазерленд Робсон, Пуш-мит Кохли, Нандо де Фрейтас, Корай Кавукчуоглу и Ориол Виньялс. Генерация кода на уровне соревнований с помощью альфа-кода, 2022 г.

[37] Юджиа Ли, Дэвид Чой, Джунён Чунг, Нэйт Кушман, Джулиан Шритвизер, Реми Леблон, Том Экклс, Джеймс Килинг, Феликс Гимено, Агустин Даль Лаго, Томас Юбер, Питер Чой, Сиприен де Массон д'Отум, Игорь Бабушкин, Синьюнь Чен, По-Сен Хуанг, Йоханнес Велбл, Свен Говал, Алексей Черепанов, Джеймс Моллой, Дэниел Дж. Манковиц, Эсме Сазерленд Робсон, Пушмит Кохли, Нандо де Фрейтас, Корай Кавукчуоглу и Ориол Виньялс. Генерация кода уровня соревнований с помощью альфа-кода. Science, 378(6624):1092–1097, 2022.

[38] Чин-Ю Лин. Rouge: Пакет для автоматической оценки резюме. В разветвлениях реферирования текста, страницы 74–81, 2004 г.

[39] V Benjamin Livshits and Monica S Lam. Finding security vulnerabilities in java applications with static analysis. In USENIX security symposium, volume 14, pages 18–18, 2005. [40] Shuai Lu, Daya Guo, Shuo Ren, Junjie Huang, Alexey Svyatkovskiy, Ambrosio Blanco, Colin B. Clement, Dawn Drain, Daxin Jiang, Duyu Tang, Ge Li, Lidong Zhou, Linjun Shou, Long Zhou, Michele Tufano, Ming Gong, Ming Zhou, Nan Duan, Neel Sundaresan, Shao Kun Deng, Shengyu Fu, and Shujie Liu. Codexglue: A machine learning benchmark dataset for code understanding and generation. CoRR, abs/2102.04664, 2021.

[41] Зоар Манна и Ричард Дж. Уолдингер. На пути к автоматическому синтезу программ. Коммун. ACM, 14(3):151–165, март 1971 г.

[42] Корпорация MITRE (MITRE). 2022 г. Cwe назвал 25 самых опасных недостатков программного обеспечения, 2022 г. [Онлайн; доступ: 18 октября 2022 г.].

[43] Корпорация MITRE (MITRE). Общий перечень слабостей, 2022 г. [Онлайн; доступ 18 августа 2022 г.].

[44] Аргаван Моради Дахель, Вахид Мадждинасаб, Амин Никанджам, Футсе Хомх, Мишель К. Демарэ и Чжэнь Мин (Джек) Цзян. Программист второго пилота Github: актив или пассив? Журнал систем и программного обеспечения, 203:111734, 2023.

[45] Нхан Нгуен и Сара Нади. Эмпирическая оценка предложений по коду второго пилота github. В материалах 19-й Международной конференции по репозиториям программного обеспечения для майнинга, MSR '22, стр. 1–5, Нью-Йорк, штат Нью-Йорк, США, октябрь 2022 г. Ассоциация вычислительной техники.

[46] Эрик Нийкамп, Хироаки Хаяши, Цайминг Сюн, Сильвио Саварезе и Инбо Чжоу. Codegen2: Уроки для учебных фильмов по программированию и естественным языкам. ICLR, 2023. [47] Эрик Нийкамп, Бо Панг, Хироаки Хаяши, Лифу Ту, Хуан Ван, Инбо Чжоу, Сильвио Саварезе и Цаймин Сюн. Разговорная парадигма синтеза программ. Препринт arXiv, 2022 г.

[48] ​​Огастес Одена, Чарльз Саттон, Дэвид Мартин Дохан, Эллен Цзян, Генрик Михалевски, Джейкоб Остин, Мартен Пол Босма, Максвелл Най, Майкл Терри и Куок В. Ле. Синтез программ с большими языковыми моделями. В н/д, стр. н/д, н/д, 2021. н/д.

[49] ОпенАИ. Технический отчет Gpt-4, 2023 г.

[50] Кишоре Папинени, Салим Рукос, Тодд Уорд и ВэйЦзин Чжу. BLEU: метод автоматической оценки машинного перевода. В материалах 40-го ежегодного собрания Ассоциации компьютерной лингвистики, страницы 311–318, 2002 г.

[51] Хаммонд Пирс, Балих Ахмад, Бенджамин Тан, Брендан Долан-Гэвитт и Рамеш Карри. Спишь за клавиатурой? оценка безопасности кода второго пилота github. На симпозиуме IEEE по безопасности и конфиденциальности (SP) 2022 г., страницы 754–768, 2022 г.

[52] Нил Перри, Мегха Шривастава, Дипак Кумар и Дэн Бонех. Пишут ли пользователи больше небезопасного кода с помощью ИИ-помощников? Препринт arXiv arXiv:2211.03622, 2022.

[53] Колин Раффел, Ноам Шазир, Адам Робертс, Кэтрин Ли, Шаран Наранг, Майкл Матена, Янки Чжоу, Вэй Ли и Питер Дж. Лю. Исследование ограничений трансферного обучения с помощью унифицированного преобразователя текста в текст. Журнал исследований машинного обучения, 21(140):1–67, 2020.

[54] Аконд Рахман, Крис Парнин и Лори Уильямс. Семь грехов: запахи безопасности в инфраструктуре как сценарии кода. На 41-й Международной конференции по программной инженерии (ICSE) IEEE/ACM 2019 г., страницы 164–175, Монреаль, Квебек, Канада, май 2019 г. IEEE.

[55] Доктор Райханур Рахман, Аконд Рахман и Лори Уильямс. Поделитесь, но имейте в виду: суть Python пахнет безопасностью. На Международной конференции IEEE по обслуживанию и развитию программного обеспечения (ICSME) 2019 г., страницы 536–540, 2019 г.

[56] Shuo Ren, Daya Guo, Shuai Lu, Long Zhou, Shujie Liu, Duyu Tang, Neel Sundaresan, Ming Zhou, Ambrosio Blanco, and Shuai Ma. CodeBLEU: a method for automatic evaluation of code synthesis. arXiv preprint arXiv:2009.10297, 2020.

[57] SonarSource S.A. Статический анализ кода SonarSource. https://rules.sonarsource.com, 2022 г.

[58] Густаво Сандовал, Хаммонд Пирс, Тео Нис, Рамеш Карри, Брендан Долан-Гавитт и Сиддхарт Гарг. Влияние помощников по написанию кода на большие языковые модели на безопасность: исследование пользователей. Препринт arXiv arXiv:2208.09727, 2022.

[59] Эдвард Дж. Шварц, Танассис Авгеринос и Дэвид Брамли. Все, что вы когда-либо хотели знать о динамическом анализе искажений и прямом символическом выполнении (но, возможно, боялись спросить). На симпозиуме IEEE 2010 года по безопасности и конфиденциальности, страницы 317–331. IEEE, 2010 г.

[60] Инбал Шани. Опрос показывает влияние ИИ на опыт разработчиков | Блог GitHub. Блог GitHub, июнь 2023 г.

[61] Мохаммед Латиф Сиддик, Беатрис Кейси и Джоанна Сантос. Легкий фреймворк для высококачественной генерации кода. Препринт arXiv arXiv:2307.08220, 2023.

[62] Мохаммед Латиф Сиддик, Шафаят Хоссейн Маджумдер, Майша Рахман Мим, Суров Джаджодиа и Джоанна К.С. Сантос. Эмпирическое исследование запахов кода в методах генерации кода на основе преобразователей. В 2022 г. пройдет 22-я Международная рабочая конференция IEEE по анализу и манипулированию исходным кодом (SCAM), 2022 г.

[63] Мохаммед Латиф Сиддик и Джоанна К.С. Сантос. Набор данных Securityeval: анализ примеров уязвимостей для оценки методов генерации кода на основе машинного обучения. В материалах 1-го международного семинара по приложениям репозиториев программного обеспечения для майнинга для обеспечения конфиденциальности и безопасности (MSR4P&S22), 2022 г.

[64] Мохаммед Латиф Сиддик, Джоанна К.С. Сантос, Ридванул Хасан Танвир, Ношин Ульфат, Фахмид Аль Рифат и Винисиус Карвальо Лопес. Исследование эффективности больших языковых моделей при создании модульных тестов, 2023 г.

[65] Доминик Собания, Мартин Бриш и Франц Ротлауф. Выберите второго пилота программирования: сравнение производительности синтеза программ второго пилота github и генетического программирования. В материалах конференции по генетическим и эволюционным вычислениям, GECCO '22, стр. 1019–1027, Нью-Йорк, штат Нью-Йорк, США, июль 2022 г. Ассоциация вычислительной техники.

[66] Алексей Святковский, Себастьян Ли, Анна Хаджитофи, Майк Рихерт, Джулиана Висенте Франко и Мильтиадис Алламанис. Быстрое и эффективное завершение нейронного кода с эффективным использованием памяти. В 2021 году пройдет 18-я Международная конференция IEEE/ACM по репозиториям программного обеспечения для майнинга (MSR), страницы 329–340. IEEE, 2021 г.

[67] К. Тони, М. Мутас, Н. Феррейра и Р. Скандариато. Llmseceval: набор данных на естественном языке предлагает провести оценку безопасности. В 2023 г. 20-я Международная конференция IEEE/ACM по репозиториям программного обеспечения для майнинга (MSR), страницы 588–592, Лос-Аламитос, Калифорния, США, май 2023 г. Компьютерное общество IEEE.

[68] Ашиш Васвани, Ноам Шазир, Ники Пармар, Якоб Ушкорейт, Лайон Джонс, Эйдан Н Гомес, Лукаш Кайзер и Илья Полосухин. Внимание – это все, что вам нужно. В книге И. Гийон, У. Фон Люксбург, С. Бенджио, Х. Уоллах, Р. Фергюс, С. Вишванатан и Р. Гарнетт, редакторы, «Достижения в области нейронных систем обработки информации», том 30. Curran Associates, Inc., 2017 г. .

[69] Юэ Ван, Вейши Ван, Шафик Джоти и Стивен К.Х. Хой. CodeT5: унифицированные предварительно обученные модели кодировщика-декодера с учетом идентификаторов для понимания и генерации кода. В материалах конференции 2021 года по эмпирическим методам обработки естественного языка, страницы 8696–8708, Интернет и Пунта-Кана, Доминиканская Республика, ноябрь 2021 года. Ассоциация компьютерной лингвистики.

[70] Джейсон Вэй, Йи Тай, Риши Боммасани, Колин Раффел, Баррет Зоф, Себастьян Боржо, Дэни Йогатама, Маартен Босма, Денни Чжоу, Дональд Мецлер, Эд Х. Чи, Тацунори Хашимото, Ориол Виньялс, Перси Лян, Джефф Дин, и Уильям Федус. Новые возможности больших языковых моделей. arXiv, июнь 2022 г.

[71] Тао Сяо, Кристоф Треуде, Хидеаки Хата и Кеничи Мацумото. Devgpt: изучение разговоров разработчиков и чатгпт. Препринт arXiv arXiv:2309.03914, 2023.

[72] Фабиан Ямагучи, Элвин Майер, Хьюго Гаскон и Конрад Рик. Автоматический вывод шаблонов поиска уязвимостей в стиле taint. На симпозиуме IEEE по безопасности и конфиденциальности 2015 г., страницы 797–812. IEEE, 2015 г.

[73] Hao Yu, Bo Shen, Dezhi Ran, Jiaxin Zhang, Qi Zhang, Yuchi Ma, Guangtai Liang, Ying Li, Tao Xie, and Qianxiang Wang. Codereval: A benchmark of pragmatic code generation with generative pre-trained models. arXiv preprint arXiv:2302.00288, 2023.

[74] Hao Yu, Bo Shen, Dezhi Ran, Jiaxin Zhang, Qi Zhang, Yuchi Ma, Guangtai Liang, Ying Li, Tao Xie, and Qianxiang Wang. Codereval: A benchmark of pragmatic code generation with generative pre-trained models, 2023.

[75] Daoguang Zan, Bei Chen, Fengji Zhang, Dianjie Lu, Bingchao Wu, Bei Guan, Yongji Wang, and Jian-Guang Lou. When neural model meets NL2Code: A survey. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, 2023.

[76] Qinkai Zheng, Xiao Xia, Xu Zou, Yuxiao Dong, Shan Wang, Yufei Xue, Zihan Wang, Lei Shen, Andi Wang, Yang Li, Teng Su, Zhilin Yang, and Jie Tang. Codegeex: A pre-trained model for code generation with multilingual evaluations on humaneval-x, 2023.

[77] Альберт Зиглер, Эйрини Каллиамваку, X. Элис Ли, Эндрю Райс, Девон Рифкин, Шон Симистер, Ганеш Ситтампалам и Эдвард Афтандилиан. Оценка продуктивности завершения нейронного кода. В материалах 6-го Международного симпозиума ACM SIGPLAN по машинному программированию, MAPS 2022, стр. 21–29, Нью-Йорк, штат Нью-Йорк, США, 2022. ACM.

---

Оригинал