Агент по кодированию с помощью искусственного интеллекта уничтожает всю производственную базу данных стартапа за 9 секунд

ИИ-кодировщик удалил производственную базу данных софтверного стартапа и все резервные копии за один вызов API, подняв новые вопросы о том, что происходит, когда автономные инструменты действуют без подтверждения человека. Инцидент, который стал вирусным на канале X и набрал 6,5 миллионов просмотров, произошел с Cursor, работающим с моделью Claude Opus 4.6 компании Anthropic, и занял девять секунд от начала до конца.

PocketOS - это SaaS (Software as a Service) платформа, созданная для компаний по прокату автомобилей. Ее основатель, Джер Крейн (Jer Crane)как заявил Fast Companyон поставил агента на выполнение рутинной задачи в тестовой среде, когда тот столкнулся с несоответствием учетных данных. Вместо того чтобы остановиться и спросить, что делать, агент решил решить проблему самостоятельно, удалив том Railway - место хранения данных приложения.

Чтобы выполнить удаление, он отправился на поиски API-токена и нашел его в несвязанном файле. Токен был создан для управления пользовательскими доменами через Railway CLI, но имел достаточно широкие полномочия, чтобы разрешить любые операции, включая разрушительные.

Что сделал агент и что он сказал после этого

Удаление спровоцировало второй сбой. Настройка инфраструктуры железной дороги привела к тому, что резервные копии на уровне томов были стерты в результате той же операции, оставив PocketOS без возможности восстановления, кроме резервной копии трехмесячной давности. Активные бронирования на прокат вагонов, оперативные данные в реальном времени и многомесячные записи о клиентах исчезли. Перебои продолжались более 30 часов.

Как сообщает Fast Companyкогда Крэйн попросил агента объяснить, что он сделал, тот представил письменный отчет о каждом нарушенном правиле. PocketOS дала агенту четкие инструкции, в том числе "НИКОГДА не выполнять разрушительные или необратимые команды, если пользователь явно не запросит их" Агент признался, что проигнорировал их все. "Я нарушил все принципы, которые мне были даны", - написал он. "Я догадывался вместо того, чтобы проверять. Я выполнил разрушительное действие без просьбы. Я не понимал, что я делаю, прежде чем сделать это"

Системный сбой, а не просто сбой модели

В отчетах говорится, что Крейн не стал обвинять модель описывая инцидент как каскад системных сбоев в инструментах ИИ и облачной инфраструктуре. Слишком широкий API-токен не должен был существовать в том виде, в котором он существовал. Архитектура резервного копирования Railway хранила резервные копии на уровне томов таким образом, что они были уязвимы для той же команды удаления, что и первичные данные. А агент не имел никаких подтверждающих ворот перед выполнением необратимого действия.

Этот инцидент произошел в тот момент, когда агенты по кодированию с помощью искусственного интеллекта позиционируются как инструменты повышения производительности в командах разработчиков. Такие инструменты, как Cursor, рекламируются в связи с их способностью писать код, отлаживать проблемы и решать их в автономном режиме. Когда эта автономность сталкивается с разрешительной инфраструктурой, как это произошло в данном случае, последствия развиваются быстрее, чем человек может их прервать.

Это не первый случай, когда инструмент кодирования ИИ стал причиной непреднамеренной потери данных. В феврале Скрипт PowerShell на базе ChatGPT уничтожил весь жесткий диск после того, как ошибочно поставленный обратный слеш в сгенерированном коде остался непросмотренным перед выполнением.