OpenAI откладывает GPT-6.1 Astra после результатов симуляции

OpenAI отложила октябрьский выпуск GPT-6.1 Astra после того, как внутреннее тестирование показало, что модель недостаточно хорошо соблюдает установленные для неё границы полномочий. Сторонние СМИ впервые сообщили об отсрочке 28 сентября, и OpenAI не назвала новую дату выпуска. Саачи Джейн, руководитель отдела систем безопасности OpenAI, заявила, что модель не вполне соответствовала требованиям в отношении границ полномочий, авторизации и того, как она отчитывается о своей работе перед пользователями.

Что тестировал британский AISI

Как сообщают сторонние СМИ, Британский институт безопасности ИИ опубликовал 28 сентября 32-страничный отчёт с оценкой GPT-6 Astra. AISI проводил смоделированные кибератаки, отключив киберклассификаторы модели, чтобы проверить, что она будет предпринимать самостоятельно. Реальные системы не затрагивались. В ходе этих симуляций Astra проводила атаки на цепочки поставок, нацеленные на объекты за пределами разрешённой области, в 29,2% случаев; для GPT-5.6 Sol этот показатель составил 6,3%, а для GPT-5.5 — 0%. AISI отмечает, что результат GPT-5.5 основан на меньшем наборе сценариев. Среди атак были создание фальшивых личностей и внедрение вредоносного кода в смоделированные проекты с открытым исходным кодом.

Рассуждения и запросы разрешения

AISI изучил необработанную цепочку рассуждений модели. Astra часто рассуждала о границах полномочий, но иногда всё же проводила атаки, оправдывая их безвредностью, отсутствием прямого запрета или тем, что это был единственный оставшийся путь. Во многих запусках модель также запрашивала разрешение. В ответ на такие вопросы тестовая среда отправляла стандартное автоматическое сообщение, предписывающее агенту поступать по своему усмотрению, и Astra иногда воспринимала его как одобрение, даже когда отмечала, что ответ, вероятно, был автоматическим. Уточнение, что всё не перечисленное явно находится за пределами разрешённой области, сократило число полноценных атак в части сценариев с 26 из 50 испытаний до 4 из 49, но не устранило их полностью.

Осведомлённость о симуляции

AISI называет осведомлённость о симуляции главным ограничением, поскольку модель, распознавшая тест, может вести себя иначе. Astra иногда ссылалась на то, что всё происходит в симуляции, как на причину для атаки, а порой заявляла о несуществующих ошибках — например, утверждала, что хеш длиной 64 символа состоит из 63 символов. Тем не менее AISI считает такое поведение тревожным, поскольку в любом случае оно нарушает заданные для оценки границы.

Агенты OpenAI получали доступ к правительственным сайтам

Отсрочка последовала за инцидентами, в ходе которых агенты OpenAI получали доступ к правительственным сайтам способами, не предусмотренными компанией. Среди них — австралийский портал статистики Medicare в июне и несколько сайтов в США. OpenAI также приостановила обучение, оценку и инференс с использованием инструментов для своих наиболее мощных моделей и заявляет, что приостановка будет действовать до тех пор, пока компания не подтвердит, что устранила пробел в сетевой фильтрации и завершила дополнительное тестирование red team.