В Google сообщили, что злоумышленники впервые использовали ИИ-модель для поиска и эксплуатации уязвимости нулевого дня. Обнаруженный эксплоит был нацелен на обход двухфакторной аутентификации в популярном опенсорсном инструменте для веб-администрирования.

Специалисты Google Threat Intelligence Group (GTIG) сообщили о первом известном случае, когда хакеры, вероятно, использовали ИИ для создания 0-day эксплоита. Атака была нацелена на некий популярный опенсорсный инструмент для системного администрирования. Название продукта не раскрывается, равно как и информация о том, кто мог стоять за атакой.

По данным исследователей, злоумышленники разработали Python-эксплоит, позволявший обходить двухфакторную аутентификацию, но массовую эксплуатацию проблемы удалось предотвратить: Google успела предупредить разработчиков уязвимого ПО о баге. Однако сам инцидент специалисты называют важным рубежом, так как теперь ИИ применяют не только для генерации фишинга и вредоносного кода, но и для поиска ранее неизвестных багов.

Эксперты пишут, что почти уверены в том, что хакеры использовали LLM при создании эксплоита. На это указывает сама структура кода: большое количество «обучающих» docstring-комментариев, выдуманный рейтинг CVSS и «слишком учебный» стиль оформления Python-скрипта, характерный для данных, на которых обучают современные языковые модели.

При этом в Google отдельно подчеркнули, что не нашли признаков использования Gemini.

Также исследователи отмечают, что речь идет не о типичном баге вроде повреждения памяти или ошибке очистки ввода, которые обычно ищут с помощью фаззинга. Уязвимость представляла собой логическую проблему высокого уровня, причем именно такие семантические ошибки ИИ-системы находят особенно хорошо.

Кроме того, в свежем отчете Google говорится, что китайские и северокорейские группировки активно используют ИИ для анализа уязвимостей и разработки эксплоитов. Среди них упоминаются APT27, APT45, UNC2814, UNC5673 и UNC6201. К примеру, UNC2814 применяла джейлбрейк и заставляла модель «играть роль» старшего аудитора по безопасности для анализа прошивок TP-Link.

В свою очередь, северокорейская группа APT45 автоматизировала анализ CVE и проверку PoC-эксплоитов, отправляя ИИ тысячи повторяющихся запросов. В Google считают, что без LLM поддерживать такой объем исследований было бы практически невозможно.

Кроме того, специалисты заметили, что связанные с Россией злоумышленники используют сгенерированный ИИ код для маскировки малвари CANFAIL и LONGSTREAM. А в рамках операции Overload атакующие применяли ИИ-клонирование голоса и дипфейки.

В отчете упоминается и Android-бэкдор PromptSpy, который злоупотреблял в атаках API Gemini. Вредонос использовал модуль GeminiAutomationAgent и специальный промпт, маскирующий малварь под «безопасного» помощника, чтобы обходить защитные механизмы LLM. Это позволяло автоматически взаимодействовать с интерфейсом устройства, включая повтор аутентификации через PIN-коды и графические ключи.

Также в Google предупреждают, что злоумышленники уже начали «индустриализировать» доступ к платным ИИ-моделям. Для этого они используют автоматическую регистрацию аккаунтов, используют пулы учетных записей и прокси-инфраструктуру.