Сила MEME: создание состязательного вредоносного ПО с помощью обучения с подкреплением на основе моделей

:::информация Авторы:

(1) Мария Ригаки, факультет электротехники, Чешский технический университет в Праге, Чешская Республика, и maria.rigaki@fel.cvut.cz;

(2) Себастьян Гарсия, факультет электротехники, Чешский технический университет в Праге, Чехия, и sebastian.garcia@agents.fel.cvut.cz.

:::

Таблица ссылок

Абстрактное и amp; Введение

Модель угроз

Справочная информация и сопутствующая работа

Методология

Настройка экспериментов

Результаты

Обсуждение

Заключение, благодарности и ссылки

Приложение

Аннотация

Из-за распространения вредоносного ПО защитники все чаще прибегают к автоматизации и машинному обучению как части набора инструментов обнаружения вредоносного ПО. Однако модели машинного обучения подвержены состязательным атакам, требующим тестирования надежности модели и продукта. Между тем, злоумышленники также стремятся автоматизировать создание вредоносных программ и обход антивирусных систем, а защитники пытаются понять их методы. В этой работе предлагается новый алгоритм, который сочетает в себе атаки с уклонением от вредоносных программ и извлечением моделей (MEME). MEME использует обучение с подкреплением на основе моделей для состязательной модификации двоичных образцов исполняемых файлов Windows, одновременно обучая суррогатную модель с высокой степенью согласия с целевой моделью для уклонения. Чтобы оценить этот метод, мы сравниваем его с двумя современными атаками по созданию состязательных вредоносных программ, используя в качестве целей три широко известные опубликованные модели и один антивирусный продукт. Результаты показывают, что MEME превосходит современные методы с точки зрения возможностей уклонения почти во всех случаях, создавая уклончивое вредоносное ПО с уровнем уклонения в диапазоне 32-73%. Он также создает суррогатные модели с совпадением меток прогнозирования с соответствующими целевыми моделями на 97–99%. Суррогат можно использовать для точной настройки и повышения уровня уклонения от уплаты налогов в будущем.

Ключевые слова: состязательное вредоносное ПО · обучение с подкреплением · извлечение модели · кража модели

1 Введение

Поскольку модели машинного обучения все чаще используются для обнаружения вредоносного ПО, растет потребность в инструментах обнаружения для борьбы с уклончивыми вредоносными программами. Понимание мотивов злоумышленников жизненно важно для защиты от вредоносных программ, часто созданных с целью получения прибыли. Операции «Вредоносное ПО как услуга» используются для автоматизации запутывания и уклонения существующих вредоносных программ, и можно с уверенностью предположить, что злоумышленники будут продолжать совершенствовать свою автоматизацию и пытаться создавать состязательные вредоносные программы максимально эффективно [45]. В этой работе нас интересует проблема автоматизации генерации скрытых исполняемых файлов вредоносных программ для Windows, прежде всего на основе моделей статического обнаружения машинного обучения.

Создание уклончивых вредоносных двоичных файлов, сохраняющих свою функциональность, до сих пор было предметом нескольких работ. В большинстве работ используется набор заранее определенных действий, которые изменяют двоичный файл Windows, например, добавляя безопасные разделы и строки, изменяя имена разделов и другие «неразрушающие» изменения. Выбор наиболее подходящего набора действий осуществляется с помощью обучения с подкреплением или аналогичных подходов. Насколько нам известно, вся предыдущая работа основана на предположении, что целевая модель (или система) доступна для выполнения неограниченного количества проверок или запросов, чтобы проверить, ускользнул ли вредоносный двоичный файл от цели. Однако с точки зрения злоумышленника меньшее количество запросов может: а) обычно означать меньше времени на создание вредоносного ПО, б) приводить к снижению вероятности обнаружения и в) утекать меньше информации о состязательных методах. Поэтому предположение, что злоумышленник может выполнять неограниченное количество запросов к целевой модели для модификации своего вредоносного ПО, может быть нереалистичным при скрытом создании вредоносного ПО.

Мы предлагаем алгоритм, который сочетает в себе уклонение от вредоносных программ и извлечение моделей (MEME) на основе обучения с подкреплением на основе моделей. Цель MEME — изучить политику обучения с подкреплением, которая выбирает соответствующие модификации вредоносного двоичного файла Windows, чтобы он мог уклониться от модели обнаружения цели, используя при этом ограниченное количество взаимодействий с целью. Основная идея состоит в том, чтобы использовать наблюдения и метки, собранные во время взаимодействия со средой обучения с подкреплением, и использовать их со вспомогательным набором данных для обучения суррогатной модели цели. Затем политика обучается избегать суррогата и оценивается по исходной цели.

Мы тестируем MEME, используя три выпущенные и общедоступные модели обнаружения вредоносных программ, а также антивирус, установленный по умолчанию во всех операционных системах Windows. MEME сравнивается с двумя базовыми методами (случайная политика и политика на основе PPO [35]), а также с двумя современными методами (MAB [38] и GAMMA [9]). Используя всего 2048 запросов к цели на этапе обучения, MEME изучает политику, позволяющую уклоняться от целей с коэффициентом уклонения 32–73%. MEME превосходит все базовые и современные методы во всех задачах, кроме одной. Алгоритм также изучает суррогатную модель для каждой цели с согласованием меток на 97–99 % и гораздо меньшим бюджетом запроса, чем сообщалось ранее.

Основные результаты этой работы:

– Новое сочетание двух атак, обхода вредоносных программ и извлечения моделей в одном алгоритме (MEME).

– Эффективное создание состязательного вредоносного ПО с использованием обучения с подкреплением на основе моделей при сохранении более высоких показателей уклонения, чем современные методы, для большинства целей.

– эффективный метод создания суррогата, который использует состязательные образцы, полученные в ходе обучения и оценки агента обучения с подкреплением. Суррогаты достигают высокого согласия меток с целевыми моделями при минимальном взаимодействии с целевыми моделями.

:::информация Этот документ доступен на arxiv по лицензии CC BY-NC-SA 4.0 DEED.

:::