Исследование показывает, что атаки на память могут взломать агентов ИИ для передачи криптовалютных активов

Исследователи Принстонского университета показали на сайте https://arstechnica.com/security/2025/05/ai-agents-that-autonomously-trade-cryptocurrency-arent-ready-for-prime-time/ что агенты с большой языковой моделью, которым доверены криптовалютные кошельки и операции со смарт-контрактами, могут быть взломаны, если злоумышленник отредактирует хранящийся в памяти контекст агента, и это слабое место команда назвала "отравлением памяти"

В своем исследовании, опубликованном на сайте https://arxiv.org/pdf/2503.16248 утверждает, что современные средства защиты - в основном, оперативные фильтры - мало что делают, когда вредоносный текст проникает в векторное хранилище или базу данных агента. В экспериментах короткие инъекции, запрятанные в память, постоянно преодолевали защитные барьеры, которые блокировали бы тот же текст, если бы он пришел в виде прямой подсказки.

Команда проверила атаку на ElizaOS, фреймворке с открытым исходным кодом, агенты кошелька которого действуют на основе инструкций блокчейна. Отравив общую память, исследователи заставили агентов подписать несанкционированные вызовы смарт-контрактов и перевести криптоактивы на контролируемые злоумышленниками адреса, доказав, что сфабрикованный контекст приводит к реальным финансовым потерям.

Поскольку ElizaOS позволяет многим пользователям совместно использовать одну историю разговоров, одна скомпрометированная сессия портит все остальные сессии, которые обращаются к той же памяти. В статье предупреждается, что любое многопользовательское развертывание автономных агентов LLM наследует этот риск бокового перемещения, если воспоминания не изолированы или не поддаются проверке.

Авторы рекомендуют рассматривать воспоминания как записи, доступные только через приложение, криптографически подписывать каждую запись и направлять действия с высокими ставками - платежи и утверждение контрактов - через внешнюю систему правил вместо того, чтобы доверять собственным рассуждениям модели. Пока такие меры не станут стандартом, передача реальных денег автономным агентам остается авантюрой.