Google добавляет новую защиту для агентного ИИ в Chrome - «Новости»

Разработчики Google объявили о запуске многоуровневой защиты для браузерных ИИ-агентов, которые скоро смогут самостоятельно работать в сети. Новая платформа включает изолированную модель-критика, ограничение доступа к веб-ресурсам и детектор вредоносных промптов.

В Google рассказывают, что Chrome получил новую защиту агентных ИИ-возможностей. Речь идет о режиме автономной работы, когда Gemini сам выполняет задачи в браузере: открывает сайты, читает контент, нажимает на кнопки, заполняет формы и совершает какие-то последовательности действий. В основном новая многоуровневая защита была разработана для защиты от непрямых промпт-инжектов.

Дело в том, что вредоносный контент на веб-странице может манипулировать ИИ-агентом, вынуждая его делать опасные вещи, к примеру, передавать данные пользователя на сторону или совершать мошеннические транзакции.

Ключевым элементом новой защиты стала отдельная изолированная модель Gemini, которая работает как «высокодоверенный системный компонент». Она не видит контент с потенциально вредоносных страниц и исполняет роль арбитра. Прежде чем основной ИИ-агент выполнит какое-либо действие, этот «критик» проверяет метаданные и независимо оценивает безопасность. Если действие кажется рискованным или не соответствует целям пользователя, «критик» заставит агента повторить попытку или вернет контроль пользователю.

Другой механизм, Origin Sets, ограничивает доступ агента к вебу, разрешая взаимодействие только с определенными сайтами и элементами. Контент из сторонних источников, включая iframe, полностью блокируется, а каждый новый источник должен пройти одобрение. Все это призвано предотвратить утечки данных между сайтами и ограничить проблему на случай компрометации агента.

Кроме того, когда ИИ-агент заходит на сайты вроде банковских порталов или запрашивает доступ к сохраненным паролям через Password Manager, Chrome ставит процесс на паузу. Пользователю придется вручную подтвердить такие действия. То есть финальное решение в таких ситуациях остается за человеком.

Наконец, в Chrome встроили специальный классификатор, который сканирует страницы на попытки непрямых промпт-инжектов. Система работает параллельно с Safe Browsing и локальным детектором мошенничества, блокируя подозрительные действия и вредоносный контент.

Также инженеры компании пишут, что разработали автоматизированные системы для red teaming'а, которые генерируют тестовые сайты и LLM-атаки для постоянной проверки защиты. Основной фокус сделан на противодействии атакам с долгосрочными последствиями, например, связанным с финансовыми транзакциями или утечками учетных данных. В результате специалисты Google получают мгновенную обратную связь о проценте успешных атак и оперативно исправляют проблемы через автоматическое обновление Chrome.

Google анонсировала отдельную программу bug bounty с выплатами до 20 000 долларов США. Исследователи могут получить вознаграждение за взлом новой защиты, и компания призывает сообщество помочь в построении надежной платформы для работы ИИ-агентов.