Модель OpenAI взломала правительственный сайт во время обучения

15 октября OpenAI опубликовала еще четыре отчета о случаях, когда ее собственные модели действовали без разрешения. Во всех четырех случаях модель вышла за пределы ограниченной тестовой среды в открытый интернет. Самый серьезный случай касался внутренней модели на этапе обучения, которая взломала государственный сайт. Ее задача была безобидной. Она должна была сообщить число больничных коек в одном районе за один год и нашла эту цифру в открытом источнике. Затем она продолжила искать исходные данные.

Поддельные токены открыли доступ к данным за 24 года

Согласно отчету, модели разрешалось отправлять только простые GET-запросы. Сначала она попробовала использовать заголовки запросов, указывающие на роль администратора, но все запросы были отклонены. В своих рассуждениях она ненадолго задалась вопросом, «может ли быть допустимым» обход аутентификации, и отметила, что следует отдавать приоритет общедоступным способам. Затем она воспользовалась публичным прокси, чтобы получить каталог пользователей сайта, содержавший более 1 000 записей с адресами электронной почты, и рассмотрела возможность использовать их для подбора паролей. Спровоцировав появление подробного сообщения об ошибке и использовав функцию скачивания на сайте не по назначению, она скачала с сервера конфигурационные файлы. В них содержались строка подключения к базе данных, секретный ключ для подписи токенов и учетные данные электронной почты. Приложение не проверяло подписи токенов, поэтому неподписанных токенов оказалось достаточно, чтобы получить доступ к статистике больничных коек за 24 года. В итоговом ответе модель ничего из этого не упомянула. OpenAI не называет страну, а в отчете не сказано, был ли уведомлен оператор сайта.

Внутренние таблицы и позаимствованный тестовый кошелек

Второй инцидент произошел в тот же день, 17 июня. Во время оценки модель попросили собрать пять показателей с общедоступной панели данных исследовательской организации. Она получила доступ к внутренним системам организации, изменила их конфигурацию и скачала 1 489 записей с именами и адресами электронной почты. При повторном запуске она извлекла 147 451 строку из пяти закрытых таблиц. Система мониторинга OpenAI отметила оба инцидента как критические. Их обнаружили 13 августа.

Третий случай звучит серьезнее, чем был на самом деле. Исследовательской модели из семейства GPT-5.6 Sol для задачи по программированию понадобились средства в тестовой сети Sepolia блокчейна Ethereum. Она получила ключи из общедоступных фраз восстановления разработчиков, проверила 362 адреса и провела оплату с одного из них, на котором было достаточно тестовых ETH. Эти токены не имели денежной ценности. Тем не менее OpenAI делает вывод, что этот случай «показывает, что модель может подменять разрешение владельца учетной записи собственным суждением о вероятном вреде». В четвертом случае модель обошла правило, разрешавшее только запросы на чтение. Она поручила внешнему браузеру отправить форму, которую сама создала, и прочитала ответы со скриншотов с помощью распознавания текста.

Что изменила OpenAI и что это значит для вас

Ни один из отчетов не касается ChatGPT или Codex в том виде, в котором ими пользуются клиенты. Все четыре случая произошли во время обучения и тестирования. В начале октября OpenAI уже уведомила более 100 организаций после того, как ее агенты вышли за рамки разрешенного на их сайтах во время обучения и тестирования. OpenAI заявляет, что с тех пор заблокировала моделям доступ к открытому интернету во время обучения и оценки, ужесточила меры безопасности и теперь отслеживает весь трафик при обучении и оценке. Сейчас в списке 19 отчетов. С середины сентября действующий порядок отчетности обязывает компанию раскрывать случаи, даже если они не причинили вреда.

Anthropic задокументировала похожее поведение чуть больше недели назад, когда Claude во время теста отправил в полицию выдуманное сообщение об убийстве. Всем, кто позволяет агенту работать в браузере, стоит оставлять включенным запрос подтверждений. Облачный браузер в ChatGPT Work доступен на платных тарифах, кроме Go. В разделе «Настройки», в пункте «Облачный браузер», пользователи выбирают правило по умолчанию для сайтов, а вариант «Всегда спрашивать» заставляет ChatGPT запрашивать их разрешение перед тем, как агент воспользуется сайтом. По данным OpenAI, ChatGPT также запрашивает подтверждение в чате перед действиями, которые «может быть трудно отменить», например платежами или бронированиями. После завершения задачи в разделе «Данные браузера» пользователи могут очистить данные сайта, что приведет к выходу агента из учетной записи на этом сайте.