Могут ли эксперты по безопасности использовать генеративный ИИ без быстрых инженерных навыков?

Профессионалы из разных отраслей изучают возможности генеративного ИИ для решения различных задач, включая создание учебных материалов по информационной безопасности, но будет ли он действительно эффективным?

Брайан Каллахан, старший преподаватель и директор аспирантской программы по информационным технологиям и веб-наукам в Политехническом институте Ренсселера, и Шошана Шугерман, студентка бакалавриата этой же программы, представили результаты своего эксперимента по этой теме на Конгрессе по безопасности ISC2 в Лас-Вегасе в октябре.

Эксперимент включал создание киберобучения с использованием ChatGPT

Главный вопрос эксперимента был таким: «Как мы можем обучить специалистов по безопасности более эффективному использованию подсказок для ИИ, чтобы создать реалистичное обучение по безопасности?» Соответственно, должны ли специалисты по безопасности также быть инженерами по подсказкам, чтобы разрабатывать эффективное обучение с использованием генеративного ИИ?

Чтобы ответить на эти вопросы, исследователи дали одно и то же задание трем группам: экспертам по безопасности с сертификатами ISC2, самоидентифицированным экспертам по оперативной инженерии и лицам с обеими квалификациями. Их задачей было создать тренинг по повышению осведомленности о кибербезопасности с использованием ChatGPT. После этого тренинг был распространен среди сообщества кампуса, где пользователи давали отзывы об эффективности материала.

Исследователи предположили, что существенной разницы в качестве обучения не будет. Но если бы разница появилась, она бы выявила, какие навыки наиболее важны. Окажут ли подсказки, созданные экспертами по безопасности или специалистами по инжинирингу подсказок, большую эффективность?

SEE: Агенты ИИ могут стать следующим шагом на пути к повышению сложности задач, с которыми может справиться ИИ.

Участники тренинга высоко оценили материал, но ChatGPT допустил ошибки

Исследователи распространили полученные учебные материалы (которые были немного отредактированы, но в основном включали контент, созданный с помощью ИИ) среди студентов, преподавателей и сотрудников Ренсселера.

Результаты показали, что:

Лица, прошедшие обучение, разработанное специалистами по оперативной инженерии, оценили себя как более искусных в предотвращении атак социальной инженерии и безопасности паролей. Люди, прошедшие обучение, разработанное экспертами по безопасности, оценили себя как более искусных в распознавании и предотвращении атак социальной инженерии, обнаружении фишинга и оперативной инженерии. Люди, прошедшие обучение, разработанное специалистами по оперативной инженерии, оценили себя как более искусных в киберугрозах и обнаружении фишинга.

Каллахан отметил, что кажется странным, что люди, прошедшие обучение у экспертов по безопасности, считают, что они лучше справляются с оперативной инженерией. Однако те, кто создавал обучение, в целом не очень высоко оценивали контент, написанный ИИ.

«Никто не чувствовал, что их первый проход был достаточно хорош, чтобы передать его людям», — сказал Каллахан. «Требовалось все больше и больше доработок».

В одном случае ChatGPT создал то, что выглядело как связное и подробное руководство по сообщению о фишинговых письмах. Однако ничего из написанного на слайде не было точным. ИИ изобрел процессы и адрес электронной почты ИТ-поддержки.

Запрос ChatGPT на ссылку на портал безопасности RPI радикально изменил контент и сгенерировал точные инструкции. В этом случае исследователи выдали исправление учащимся, которые получили неточную информацию в своих учебных материалах. Ни один из обучающихся не указал, что информация об обучении была неверной, отметил Сугерман.

Раскрытие информации о том, написаны ли тренинги с использованием искусственного интеллекта, имеет решающее значение

«ChatGPT может очень хорошо знать ваши политики, если вы знаете, как правильно его подсказать», — сказал Каллахан. В частности, он отметил, что все политики RPI общедоступны в сети.

Исследователи только после проведения обучения раскрыли, что контент был сгенерирован ИИ. Реакции были неоднозначными, сказали Каллахан и Шугерман:

Многие студенты были «безразличны», ожидая, что некоторые письменные материалы в их будущем будут созданы ИИ. Другие были «подозрительными» или «испуганными». Некоторые посчитали «ироничным» то, что обучение, сосредоточенное на информационной безопасности, было создано ИИ.

Каллахан заявил, что любая ИТ-команда, использующая ИИ для создания реальных учебных материалов, а не для проведения эксперимента, должна раскрывать факт использования ИИ при создании любого контента, которым делятся с другими людьми.

«Я думаю, у нас есть предварительные доказательства того, что генеративный ИИ может быть стоящим инструментом», — сказал Каллахан. «Но, как и любой инструмент, он сопряжен с рисками. Определенные части нашего обучения были просто неправильными, общими или общими».

Некоторые ограничения эксперимента

Каллахан указал на несколько ограничений эксперимента.

«Существует литература о том, что ChatGPT и другие генеративные ИИ заставляют людей чувствовать, что они чему-то научились, даже если на самом деле они этому не научились», — пояснил он.

Каллахан отметил, что тестирование реальных навыков людей вместо того, чтобы просить их сообщить, считают ли они, что чему-то научились, заняло бы больше времени, чем было отведено на исследование.

После презентации я спросил, рассматривали ли Каллахан и Шугарман возможность использования контрольной группы обучения, полностью написанного людьми. Они рассматривали, сказал Каллахан. Однако разделение создателей обучения на экспертов по кибербезопасности и инженеров по оперативной инженерии было ключевой частью исследования. В университетском сообществе не было достаточного количества людей, которые бы идентифицировали себя как эксперты по оперативной инженерии, чтобы заполнить контрольную категорию для дальнейшего разделения групп.

Панельная презентация включала данные небольшой начальной группы участников — 51 тестируемый и три составителя тестов. В последующем электронном письме Каллахан сообщил TechRepublic, что окончательная версия для публикации будет включать дополнительных участников, поскольку начальный эксперимент был в стадии пилотного исследования.

Отказ от ответственности: ISC2 оплатила мне перелет, проживание и питание на мероприятии ISC2 Security Congress, которое проходило с 13 по 16 октября в Лас-Вегасе.