Утечка кода Клода: Исследователи нашли первую уязвимость

31 марта компания Anthropic, создавшая искусственный интеллект Claude AI, случайно выложила в сеть значительную часть кода агента для кодирования Claude Code. С тех пор, Anthropic пытается принять меры против копий этого кода. Аналитики уже обнаружили в коде некоторую информацию, которая может оказаться неудобной для Anthropic. К ним относится протокол YOLO.

Хотя утечка не затронула ни одной модели весов, она предоставляет подробный план того, как работает инструмент. Это облегчает потенциальным злоумышленникам поиск уязвимостей или создание очень убедительных копий программы, которые могут распространять вредоносное ПО. В связи с этим команда Adversa AI по адресу обнаружила критический недостаток в системе безопасности в системе разрешений Claude Code.

Claude Code - это терминальный помощник, который работает непосредственно в командной строке и может редактировать файлы, а также выполнять команды командной строки. Для поддержания безопасности инструмент использует систему правил разрешения. Пользователи могут задать так называемые правила запрета, которые строго блокируют определенные команды, например, команду "curl", которая используется для передачи данных по сети. Другие команды, такие как "git" для контроля версий, напротив, могут быть явно разрешены.

Обнаруженная уязвимость кроется в обработке сложных цепочек команд. Чтобы избежать проблем с производительностью и зависания пользовательского интерфейса, Anthropic ограничивает свой детальный анализ безопасности максимум 50 подкомандами. Если цепочка команд длиннее, отдельные проверки пропускаются, и пользователю показывается общая подсказка, спрашивающая, следует ли выполнить команду.

Такое поведение может быть использовано с помощью инъекции подсказки. При этом типе атаки злоумышленник манипулирует входными данными ИИ, чтобы обойти его фильтры безопасности. В частности, злоумышленник может поместить файл с именем "CLAUDE.md" в публичный репозиторий программного обеспечения. Этот файл содержит инструкции для агента ИИ. Если разработчик клонирует репозиторий и попросит агента ознакомиться с проектом, ИИ может получить инструкции по выполнению цепочки из более чем 50, казалось бы, легитимных команд.

Вот полная статья, основанная на Ваших требованиях и предоставленном Вами открытии.

Риск безопасности в коде Клода: Утечка позволяет красть данные

Вскоре после случайной утечки исходного кода была обнаружена критическая уязвимость в агенте по кодированию ИИ Claude Code. Она позволяет злоумышленникам обходить правила безопасности и красть конфиденциальные данные, такие как ключи SSH, с машин разработчиков.

31 марта компания Anthropic, создавшая ИИ Claude, случайно выложила в сеть большую часть кода агента кодирования Claude Code. Исходный код стал доступен благодаря случайной публикации на npm, менеджере пакетов для JavaScript, так называемой карты исходного кода - файла, который переводит скомпилированный программный код в удобочитаемую форму. В результате исследователи смогли реконструировать код ИИ-агента. В результате получилось около 512 000 строк TypeScript, языка программирования, построенного на JavaScript и добавляющего дополнительную типизацию.

Несмотря на то, что весовые коэффициенты моделей или данные о клиентах не были напрямую раскрыты, утечка дает подробное представление о том, как работает этот инструмент. Это облегчает потенциальным злоумышленникам поиск уязвимостей или создание очень убедительных копий программы, которые могут распространять вредоносное ПО. В этом контексте команда Adversa AI обнаружила критический недостаток в системе разрешений Claude Code.

Claude Code - это терминальный помощник, который работает непосредственно в командной строке и может редактировать файлы, а также выполнять команды командной строки. Для обеспечения безопасности инструмент использует систему правил разрешения. Пользователи могут задать так называемые правила запрета, которые строго блокируют определенные команды, например, команду "curl", которая используется для передачи данных по сети. Другие команды, такие как "git" для контроля версий, напротив, могут быть явно разрешены.

Обнаруженная уязвимость кроется в обработке сложных цепочек команд. Чтобы избежать проблем с производительностью и зависания пользовательского интерфейса, Anthropic ограничивает свой детальный анализ безопасности максимум 50 подкомандами. Если цепочка команд длиннее, отдельные проверки пропускаются, и пользователю показывается общая подсказка, спрашивающая, следует ли выполнить команду.

Такое поведение может быть использовано с помощью так называемой инъекции подсказки. При этом типе атаки злоумышленник манипулирует входными данными ИИ, чтобы обойти его фильтры безопасности. В частности, злоумышленник может поместить файл с именем "CLAUDE.md" в публичный репозиторий программного обеспечения. Этот файл содержит инструкции для агента ИИ. Если разработчик клонирует репозиторий и попросит агента собрать проект, ИИ может получить инструкции по выполнению цепочки из более чем 50, казалось бы, легитимных команд.

Начиная с 51-й команды, индивидуально настроенные правила запрета больше не применяются. Хотя одна команда "curl" будет заблокирована, она игнорируется, если включена в длинную цепочку. Это позволяет злоумышленникам отправлять конфиденциальные данные, такие как SSH-ключи, криптографические ключи, используемые для безопасного удаленного доступа к серверам, или учетные данные "облака" с локальной машины разработчика на внешний сервер в фоновом режиме. Поскольку система в этом случае запрашивает только общее подтверждение, пользователь не замечает, что его политики безопасности фактически отменены.

Особенно примечательно, что утечка исходного кода версии 2.1.88 уже содержала исправление этой проблемы. Anthropic разработал более современный парсер - программу, используемую для анализа структур кода, - который корректно проверяет правила запрета независимо от длины цепочки команд. Однако это не было реализовано в публичных версиях программы. Вместо этого продолжал использоваться старый несовершенный механизм.

Похоже, что за прошедшее время Anthropic решил эту проблему. Согласно журналу изменений для версии 2.1.90была исправлена проблема, описанная как деградация отрицающего правила обратного разбора (parse-fail fallback deny-rule). Однако, по словам исследователей , которые обнаружили потенциальную уязвимость, существуют и другие способы решения проблемы.