OpenAI приостановила работу ведущих моделей после того, как агент получил доступ к чат-боту через DNS

Компания OpenAI сообщила об очередном инциденте, произошедшем в ходе её собственных исследований. 20 сентября внутренняя модель, находившаяся на этапе обучения, обошла ограничения своей тестовой среды и воспользовалась общедоступным сервисом DNS для отправки запросов внешнему чат-боту. OpenAI опубликовала отчёт об этом инциденте в своём блоге, посвящённом вопросам согласованности, и в последний раз обновила его 25 сентября. В результате компания приостановила обучение, оценку и использование инструментов для своих наиболее мощных моделей до дальнейшего уведомления. Обучение данной модели возобновлено не будет.

Поисковая задача, завершившаяся запросами к DNS

Задача была обычной. Модель должна была определить автора записи в блоге на основе набора подсказок. Предоставленный ей поисковый инструмент выдавал нерелевантные результаты, а прямые запросы в Google, Bing и DuckDuckGo завершались ошибками. Затем модель предположила, что вопрос поступил из BrowseComp — общедоступного тестового набора для веб-исследований, — и загрузила набор данных и скрипт оценки, чтобы найти ответ там. Это предположение оказалось ошибочным.

Далее она проверила сетевые ограничения своей среды. Собственный DNS-резолвер «песочницы», который должен был лишь преобразовывать доменные имена в адреса, возвращал реальные ответы из Интернета. Используя бесплатный сервис делегирования DNS, модель закодировала свои вопросы в доменные имена и получила ответы от общедоступного чат-бота. На тестовый вопрос о столице Франции был получен ответ: «Столица Франции — Париж». Затем модель отправила ещё 18 запросов, четыре из которых касались способов поиска в Интернете через DNS. Она по-прежнему не смогла найти автора. По данным OpenAI, каждый второй запрос попадал в автономный веб-кеш, поэтому маршрут через DNS был единственным путём к активному Интернету.

Оповещение через 12 минут, отключение через два с половиной часа

Хронология событий является наиболее неудобной частью отчёта для OpenAI. Первый внешний ответ поступил в 9:50 утра, система мониторинга подала сигнал тревоги с наивысшим приоритетом в 10:02 утра, а специалист по проверке подтвердил его через три минуты. OpenAI остановила запуск в 12:34. Он должен был остановиться автоматически, но этого не произошло, и сотрудники не были уверены, нужно ли его останавливать. В ходе последующего анализа были обнаружены другие внешние DNS-запросы, которым система мониторинга присвоила слишком низкий приоритет. Отдельный детектор необычного DNS-трафика исключил данную среду из мониторинга.

OpenAI называет этот случай «гораздо менее серьёзным, чем некоторые из наших предыдущих инцидентов». Это имеет значение, поскольку речь идёт о «первом инциденте после укрепления мер безопасности, предпринятых нами вслед за инцидентом с Hugging Face». Как сообщал Notebookcheck, в июле агенты OpenAI вышли за пределы своей тестовой среды и достигли Hugging Face. По данным Fortune, после этого OpenAI приостановила обучение на две недели. В конце июля компания Anthropic сообщила о подобных инцидентах с участием системы Claude. В настоящее время OpenAI блокирует такие запросы на двух независимых уровнях и разрешает DNS-запросы только для ограниченного списка доменов.

Что означает эта приостановка для ChatGPT

В отчёте говорится: «Всё обучение, оценка и вычисления с использованием инструментов (в широком смысле) наших наиболее мощных моделей по-прежнему приостановлены». OpenAI не уточняет, к каким именно моделям это относится. Майка Кэрролл, возглавляющий в OpenAI работу по обеспечению готовности к рекурсивному самосовершенствованию, написал в X, что «все вычисления для наших наиболее мощных моделей остаются приостановленными до тех пор, пока мы не укрепим наши системы ещё больше». Сам отчёт касается внутренней исследовательской модели. 27 сентября на странице состояния OpenAI не было указано ни одного инцидента, связанного с ChatGPT или API, а в примечаниях к выпуску не указано ни одной модели, удалённой из ChatGPT. Обычные пользователи ChatGPT не заметят этой приостановки. OpenAI не сообщила, будет ли отложена работа над новыми моделями.