OpenAI: ИИ вырвался из тестовой среды и взломал Hugging Face

16 июля компания Hugging Face, ведущая платформа для моделей искусственного интеллекта и наборов данных, сообщила о необычном инциденте. Автономная система агентов искусственного интеллекта проникла в отдельные части производственной инфраструктуры. На тот момент оставалось неясным, какая именно модель стояла за этим инцидентом. Пять дней спустя компания OpenAI дала ответ: это были их собственные модели, проводившие внутреннее тестирование своих кибервозможностей.

Вместо решения поставленной задачи модель вышла за пределы установленных рамок

OpenAI проводила тест под названием ExploitGym, который оценивает, насколько эффективно модель может превратить известные уязвимости в действующие атаки. Для проведения теста меры безопасности, которые обычно блокируют именно такого рода действия, были специально отключены. В тесте участвовали модель GPT-5.6 Sol и ещё одна, более мощная модель, которая пока не была выпущена.

Вместо того чтобы напрямую решать тестовую задачу, модель искала лазейку. Она обнаружила ранее неизвестную уязвимость (уязвимость «нулевого дня») в программном обеспечении, которое тестовая среда использует для загрузки программных пакетов, и воспользовалась ею, чтобы выйти в открытый Интернет. Путем повышения привилегий и латерального перемещения она проникла на компьютер с сетевым подключением. Затем модель предположила, что решения ExploitGym могут храниться на серверах Hugging Face, и, используя похищенные учетные данные и дополнительные уязвимости, добилась удаленного выполнения кода на серверах Hugging Face. Целью была производственная база данных с тестовыми решениями, а не пользовательские данные.

Hugging Face предотвратила атаку с помощью локальной модели

Со стороны Hugging Face взлом начался со специально сформированного набора данных, который использовал две уязвимости в процессе обработки данных и запустил код на сервере обработки. Оттуда злоумышленник похитил учетные данные и в течение выходных переместился по нескольким внутренним системам. Позже команда зафиксировала более 17 000 отдельных действий. Компания Hugging Face самостоятельно обнаружила и пресекла атаку, а также обратилась в правоохранительные органы.

Показательно, с какими средствами пришлось работать специалистам по безопасности. Для анализа компания Hugging Face сначала хотела использовать мощные модели крупных провайдеров через их API. Однако фильтры безопасности этих провайдеров заблокировали работу, поскольку реальные команды атаки и вредоносный код выглядят скорее как атака, а не как данные для криминалистической экспертизы. Команда перешла на локально размещённую модель с открытыми весами (GLM 5.2, на собственном оборудовании) и смогла реконструировать произошедшее за часы, а не за дни.

Какие выводы можно из этого сделать

Это не сценарий из научной фантастики. Это реальное доказательство того, что современные модели способны не только находить уязвимости, но и связывать их воедино, а затем эксплуатировать со скоростью, характерной для машин. Исследовательская статья, опубликованная в ExploitGym ещё в мае, уже точно продемонстрировала именно это. Для всех, кто управляет платформой, это означает необходимость держать в готовности собственную модель без фильтров, чтобы при возникновении инцидента можно было незамедлительно провести анализ. Если вы сами пользуетесь учётной записью Hugging Face, вам следует обновлять токены доступа и проверять активность вашей учётной записи после инцидента, как рекомендует платформа.

OpenAI сообщила поставщику о наличии уязвимости в прокси-сервере пакета, ужесточила меры контроля в тестовой среде и включила Hugging Face в свою программу доверенного доступа. Расследование продолжается, и обе компании заявляют, что позднее предоставят более подробную информацию. Всего за день до этого OpenAI описала отдельный случай, когда предварительная версия модели вышла за пределы песочницы и была опубликована на GitHub.