На конференции по безопасности Black Hat USA 2025 в Лас-Вегасе исследователи представили новый метод обмана систем искусственного интеллекта, таких как ChatGPT, Microsoft Copilot и Google Gemini. Техника, известная как AgentFlayer, была разработана исследователями Zenity Майклом Баргури и Тамиром Ишаем Шарбатом. Пресс-релиз https://www.prnewswire.com/news-releases/zenity-labs-exposes-widespread-agentflayer-vulnerabilities-allowing-silent-hijacking-of-major-enterprise-ai-agents-circumventing-human-oversight-302523580.html с изложением полученных результатов был опубликован 6 августа.
Концепция атаки обманчиво проста: текст скрывается в документе с помощью белого шрифта на белом фоне. Невидимый для человеческого глаза, он может быть легко прочитан системами искусственного интеллекта. Как только изображение доставляется к цели, ловушка расставлена. Если файл включен в запрос, ИИ отбрасывает первоначальную задачу и вместо этого выполняет скрытую инструкцию - ищет учетные данные для доступа к подключенному облачному хранилищу.
Чтобы вывести данные, исследователи применили вторую тактику: они поручили ИИ закодировать украденную информацию в URL-адрес и загрузить с него изображение. Этот метод позволяет незаметно передать данные на серверы злоумышленников, не вызывая подозрений.
Zenity продемонстрировала, что атака работает на практике:
- В ChatGPT электронная почта манипулировалась таким образом, что агент ИИ получал доступ к Google Drive.
- В Copilot Studio от Microsoft исследователи обнаружили более 3 000 случаев незащищенных CRM-данных.
- Salesforce Einstein можно было обманом заставить перенаправлять сообщения клиентов на внешние адреса.
- Google Gemini и Microsoft 365 Copilot также были восприимчивы к поддельным письмам и записям в календаре.
- Злоумышленники даже получили учетные данные для входа в платформу для разработчиков Jira с помощью поддельных билетов.
OpenAI и Microsoft отвечают, в то время как другие не видят необходимости в действиях
Хорошая новость заключается в том, что OpenAI и Microsoft уже выпустили обновления для устранения уязвимостей после того, как о них узнали исследователи. Другие поставщики, однако, действуют медленнее, а некоторые даже не обращают внимания на эксплойты, считая их "намеренным поведением" Исследователь Майкл Баргури подчеркнул серьезность проблемы, заявив: "Пользователю не нужно ничего делать, чтобы быть скомпрометированным, и для утечки данных не требуется никаких действий"
Источник(и)
Zenity Labs via prnewswire