UDV Group: угрозы ИИ в кибербезопасности

Юрий Чернышов, к.ф.-м.н., доцент УНЦ «Искусственный интеллект» УрФУ, руководитель исследовательского центра UDV Group рассказал о том, как ИИ позволяет выявлять сложные атаки нулевого дня, одновременно усиливая как возможности SOC-аналитиков, так и требования к контролю, тестированию и безопасному применению интеллектуальных систем.

Выявление атак нулевого дня с помощью искусственного интеллекта

Большинство атак обнаруживается с помощью простых индикаторов: обнаружение комбинации байтов в коде программы, скомпрометированные IP адресов и доменных имен. Эти правила простые и наглядные, поэтому работают быстро, ими легко управлять – модифицировать, передавать. Но эти же свойства индикаторов компрометации являются и их слабостью: они статичны, их логику легко понять и обойти злоумышленнику. Поэтому все чаще применяются сложные сценарии атак: распределенные, скрытные (обфускация, стеганография), с динамически изменяющимися характеристиками (полиморфизм). Большинство подобных сценариев являются новыми атаками, 0-day. Чтобы обнаруживать подобные атаки необходима более сложная логика детектора с применением анализа больших данных и использованием баз знаний, а также возможность детектора самообучаться, подстраиваться под новые условия. Это все позволяют сделать различные методы ИИ, среди которых на практике встречаются как очень простые (классификация, кластеризация, обнаружение аномалий), так и сложные, например, большие языковые модели (LLM), специально дообученные (finetune) для обнаружения и объяснения инцидентов, а также для реагирования.

Генеративные модели ИИ как фактор новых киберугроз

Надо осознать тот факт, что качество создания искусственным интеллектом цифровых объектов, текстов, изображений, и даже видео, приближается к человеческому, или даже превосходит. И мы не можем отличить искусственный объект от созданного человеком, даже если очень хорошо знаем этого человека. А самое главное – стоимость этой генерации существенно снизилась, а значит атаки злоумышленников стали более рентабельными (да, в этой отрасли тоже считают окупаемость), поэтому все чаще GenAI применяется для мошеннических действий. Автоматизация позволяет действовать масштабно, охватывая большой перечень потенциальных жертв, но применяя в каждом конкретном случае персональный сценарий воздействия. Это новая цифровая угроза, против которой у большинства людей еще не сформировался иммунитет и паттерны безопасного поведения, и это представляет собой большую угрозу.

Контроль и безопасность автономных ИИ-систем реагирования

Контролю и анализу защищенности необходимо уделять внимание уже на этапе проектирования системы, использовать безопасные паттерны архитектуры и безопасного кода, добавлять средства мониторинга защищенности, предусматривать необходимые тесты безопасности. В промышленной эксплуатации важен непрерывный мониторинг и анализ всех компонентов информационных систем: процессов, интерфейсов взаимодействия, исполняемых инструкций и команд, получаемого и создаваемого контента, пользовательских действий, состояния инфраструктуры.

Важным аспектом, повышающим уровень надежности и защищенности системы с ИИ, является улучшение взаимодействия с пользователями. Это может включать в себя: контроль диалога, отслеживание токсичности, выявление факта применения методов социальной инженерии со стороны пользователя, дополнительные меры аутентификации, в том числе по косвенным признакам, сохранение и использование истории взаимодействия с пользователем. 

Зачастую проведение специального обучения для пользователей вопросам безопасности работы с ИИ дает очень значимый эффект.

Тестирование надежности ИИ-систем в кибербезопасности

Как и в любых других эксплуатируемых системах для ИИ-систем необходимо проводить постоянный поиск и исследование новых возможностей для атак злоумышленников, проводить анализ защищенности всех компонентов системы, включая модели ИИ, в том числе с применением специальных программных средств и методов социальной инженерии.

Влияние ИИ на работу аналитиков SOC

ИИ системы, особенно большие языковые модели, дают большие возможности для автоматизации многих действий операторов SOC: поиск информации, анализ и расследование инцидента, подготовка писем (результаты анализа, уведомление).

Изображение (фото): UDV Group