ИИ на самом деле не помогает программистам писать лучший или более безопасный код.
23 декабря 2022 г.Согласно документу, подготовленному исследователями из Стэнфордского университета, программисты, использующие помощников ИИ, такие как GitHub Copilot и Facebook InCoder на самом деле написал менее безопасный код.
Более того, такие инструменты также внушают разработчикам ложное чувство безопасности, и многие верят, что с помощью справки они создают более качественный код.
Примерно 50 субъектов, каждый с различными уровня знаний, были даны пять задач по кодированию с использованием разных языков, некоторые из которых выполнялись с помощью инструмента ИИ, а другие вообще без какой-либо помощи.
Языковые игры
Авторы статьи — Нил Перри, Мегха Шривастава, Дипак Кумар и Дэн Боне — заявили, что были получены «особенно важные результаты для шифрования строк и внедрения SQL».
Они также сослались на предыдущее исследование, которое показало, что около 40 % программ, созданных с помощью GitHub Copilot, содержали уязвимый код, хотя дополнительное исследование показало, что кодировщики, использующие модели больших языков (LLM), такие как код OpenAI code-cushman-001, на котором основан GitHub Copilot, — количество критических ошибок в системе безопасности увеличилось всего на 10%.
Однако исследователи из Стэнфорда объяснили, что в их собственном исследовании рассматривалась модель Codex-davinci-002 OpenAI, более поздняя модель, чем cushman, который также используется GitHub Copilot.
Они также рассматривали несколько языков программирования, включая Python, Javascript и C, в то время как в другом документе основное внимание уделялось только последнему, что авторы связывают с его неубедительными выводами. . На самом деле, в стэнфордской статье те, кто использовал ИИ для кодирования на C, также не приводили к значительно большему количеству ошибок.
Одна из пяти задач включала написание кода на Python, и здесь код был более вероятным. быть ошибочным и небезопасным при использовании ИИ-помощника. Более того, они также «значительно чаще использовали простые шифры, такие как шифры подстановки (p < 0,01), и не проводили проверку подлинности окончательного возвращаемого значения».
Авторы надеются. что их исследование приводит к дальнейшим улучшениям в ИИ, а не к полному отказу от технологии из-за потенциального повышения производительности, которое могут предложить такие инструменты. Они просто утверждают, что их следует использовать с осторожностью, поскольку они могут ввести программистов в заблуждение, заставив их думать, что они непогрешимы.
Они также считают, что помощники ИИ могут побудить больше людей заниматься кодированием, независимо от их опыта, которые также могут быть отложено из-за того, что дисциплина охраняет ворота.
- Познакомьтесь с лучшими текстовыми редакторами для написания кода
Через Реестр
Оригинал