6 ключевых знаний из обследования управления ИИ 2025 года
14 августа 2025 г.Обследование управления ИИ 2025 года подчеркивает, почему кибербезопасность является проблемой технологических достижений и ускоренного использования ИИ в разных отраслях. Специалисты по кибербезопасности и энтузиасты технологий определяют, как лучше всего управлять развивающимися системами ИИ. Pacificai в сотрудничестве с градиентным потоком рассмотрел проблемы, с которыми сталкиваются организации и разработали стратегии для подготовки защиты от возникающих рисков.
1. ИИ-управляемые угрозы находятся на подъеме
Многие эксперты по кибербезопасности обеспокоены тем, что ИИ делает хакеров умнее. В одном отчете показаны инструменты для отслеживания пароля, управляемыеИИ обошел 81% общего пароляКомбинации менее чем за 30 дней. Возможность обойти типичные пароли относится к свету деталей, обнаруженных Обзором управления ИИ. Исследователи обнаружили, что 54% организаций имеют специфический для искусственного интеллекта для игр на инцидент. Если хакеры атакуют системы с использованием искусственного интеллекта, компания может изо всех сил пытаться смягчить ущерб.
Положительным аспектом опроса было то, что 75% компаний имели политику использования ИИ. Хотя его реализация может потребовать работы, менеджеры начинают понимать, насколько важной защита и планирование.
2. Автоматизация и человеческий надзор должны быть сбалансированы
В то же время менеджеры могут столкнуться с трудностями в обеспечении планов и политики, соответствующих потребностям из -за недостаточного персонала. Эксперты оценивают аОт 5% до 10% разрыв в трудепо всей экономике. Нехватка труда в некоторых секторах влияет на наличие достаточно персонала, чтобы не отставать от спроса, особенно по мере роста компании. ИИ может предоставить возможности для масштабируемости.
Существует риск чрезмерного автомаутома для групп безопасности без достаточного контроля того, как организации обрабатывают потенциальные нарушения и инциденты безопасности. Опора на ИИ может снизить надзор за ручным управлением, что приведет к самоуспокоенности и повышению рисков взлома.
Результаты опроса показали, что технические лидеры и генеральные директора компании чувствуют, что надзор является важной проблемой, вызывающей беспокойство,с 48% респондентовУказывая, что организации внедрили мониторинг того, как используются системы ИИ и если они являются точными.
В то время как ИИ привносит автоматизацию командам и экономит деньги компании, слишком много полагаться на компьютеры может быть опасным прецедентом. Опрос показал, что многим компаниям не хватает человеческого надзора. Некоторые простые изменения, такие как требующие отзывов перед развертыванием моделей или выходов отбора проб для точности, могут объединить автоматизированные системы с человеческим интеллектом. Такие гибридные среды решают этические проблемы, прежде чем они станут проблемой и могут определить угрозы, которые ИИ мог пропустить.
3. Регуляторный ландшафт развивается
Правила, связанные с управлением ИИ, постоянно меняются. По состоянию на май 2025 года более 69 стран начали более 1000 с лишним политики, связанной с AI, показывая, что люди больше обеспокоены управлением. В то время как ИИ тянется из огромных объемов данных, использование информации без управления приводит к вопросам. Опрос показал, что небольшие фирмы не имеют обучения и понимания основных рамок. Всего 14% сотрудников понимали основы NIST AI RMF. Без понимания основных мер защиты конфиденциальности системы остаются уязвимыми для атак.
Любой, кто связан с ИИ, должен изучить правила вокруг ISO/IEC 42001,Глобальный международный стандартДля систем управления ИИ. Понимание оснований позволяет технологическим специалистам защищать трубопроводы со строгим контролем доступа. Фильтры валидации и другие методы, такие как дифференциальная конфиденциальность и федеративные системы защиты обучения и сохранение судебных доказательств в случае нарушения безопасности. Обучение из слабых точек доступа может помочь командам безопасности уменьшить количество инцидентов в будущем.
Хакеры злонамеренно манипулируют данными обучения, чтобы уменьшить надежность моделей машинного обучения. Дублированное отравление данных, хакеры подключают смещенные и неверные данные в модель ИИ на этапе обучения. Затем модель дает неточные результаты, которые могут нанести вред компании или частным лицам. Организации сталкиваются с ухудшением производительности, и хакеры могут даже ввести точки доступа Backdoor для последующей записи.
4. Необходимость большей прозрачности ИИ
Опрос подчеркнул необходимость большей прозрачности в системах искусственного интеллекта. Модели могут дать предвзятые результаты, поэтому люди должны быть под рукой, чтобы определить непредсказуемые результаты и способы их решения для предотвращения будущих проблем. Задача состоит в том, что прозрачность может дать кибератакерам инструменты для исследования баз данных.
Исследование показало пробелы на более поздних этапах модели. Например, многие решения рассматривают этапы планирования, данные и моделирование. Однако во время развертывания и надзора профессионалы, как правило, больше полагаются на результаты ИИ и меньше на вмешательство человека. Принятие инструментов для аудита живых систем имеет решающее значение для предотвращения нарушений. Отсутствие инструментов на более поздних этапах влияет на преступление и защиту большинства систем.
Исследования показывают73% реализаций агента AIслишком разрешительны в общении с учетом полномочий, и 61% организаций говорят, что они не уверены, к чему доступ к их автоматизированным системам. Позволить автономным системам работать без каких -либо сценариев риска надзора, когда -то ограничивающихся научно -фантастическими романами.
5. Сдвиг левой разработка является частичным решением
Решение может быть частично из-за растущего левого движения сдвига, когда безопасность встроена в начале разработки. Хотя опрос выявил, что большинство компаний разрабатывают политики, лишь немногие интегрируют операции машинного обучения в ежедневные практики.
Хотя техническое лидерство может захотеть использовать генеративное целевое изображение ИИ и реализовать лучшие стратегии, многим не хватает рабочей силы или обучения для выполнения задачи. Специалисты по кибербезопасности, которые находят и сообщают о уязвимости, также известных как охотники за головами, могут краудсорсин и тестовые системы, чтобы найти слабости. Эти этические хакеры работают над повышением безопасности и сообщают о недостатках, прежде чем плохие игроки смогут использовать Backdoors для ввода систем. Добавляя управление ИИ в ежедневные методы рабочего процесса, фирмы могут предотвратить дорогостоящие проблемы и поврежденную репутацию.
6. Специалистам безопасности нуждаются в лучших навыках.
Опрос подчеркнул повышенный спрос на технических специалистов, чтобы получить навыки в мониторинге, инструментах управления и разработке реагирования на инциденты. Всего 41% компаний ежегодно предлагают продолжающееся обучение ИИ, а небольшие организации имели самые низкие цифры.
Команды особенно нуждаются в навыках в лучшем модельном аудите, безопасности MLOPS, знакомстве с общими рамками и оценкой рисков. Некоторые способы поощрения улучшения в этих областях предлагают системы искусственного интеллекта с красными командами, оставаясь на вершине новых наборов инструментов и присоединяясь к открытым учебным платформам. Ищите места, предлагающие возможность учиться у других специалистов по безопасности.
Превращение понимания в действие
Генеральные директора, технические лидеры, хакеры белого хата и те, кто заинтересован в кибербезопасности искусственного интеллекта, должны изучать исследование управления ИИ 2025 года. Результаты показывают отсутствие управления во всех организационных размерах. Компании используют использование ИИ, но не могут эффективно управлять рисками. Ответственные должны требовать большего надзора и управления данными, в то время как нынешний ИТ -персонал поднимается. По мере роста ИИ предприятия должны быть в состоянии разобраться, чтобы устранить новые потенциальные угрозы, сохраняя при этом расходы доступными.
Оригинал