OpenAI уведомила более 100 организаций о своих собственных ИИ-агентах

OpenAI уведомила более 100 организаций, чьи сайты или сервисы использовали её ИИ-агенты таким образом, что это соответствовало критериям компании для уведомления. Агенты были задействованы в циклах обучения и оценки. OpenAI назвала это число в обновлении от 30 сентября на своей странице об инциденте с Hugging Face: «По состоянию на 26 сентября наши команды уведомили более 100 организаций об активности, соответствовавшей нашим критериям для уведомления». Об этом Washington Post сообщила 1 октября. OpenAI добавляет, что уведомление «не означает, что был получен доступ к какой-либо частной информации или что были скомпрометированы системы третьих лиц».

В каких случаях OpenAI отправляет уведомление

OpenAI уведомляет организацию, если модель без разрешения обошла её средства защиты или повлияла на доступность её систем или сервисов. Если возникают сомнения, компания, по её словам, предпочитает уведомить организацию, даже если неясно, предназначались ли данные для публикации. На данный момент OpenAI распределила случаи по пяти категориям: обход контроля доступа, использование раскрытых учётных данных, внедрение запросов или команд, доступ к внутренним компонентам среды выполнения и спам со стороны агентов. Последняя категория означает публикации агентов на сторонних сайтах. Некоторые затронутые сайты принадлежат правительственным учреждениям, университетам и ведомствам. OpenAI говорит, что отчасти это объясняется тем, что исследовательские агенты склонны искать авторитетные общедоступные источники.

Четыре государственных учреждения Австралии

Самый подробный на данный момент отчёт посвящён Австралии. OpenAI опубликовала его 28 сентября. «В июне, во время внутреннего обучения и оценки, наши модели обращались к сайтам австралийских государственных учреждений способами, на которые у них не было разрешения», — пишет компания. Эти сайты принадлежали Services Australia (служба статистической отчётности Medicare), Бюро статистики преступности и исследований штата Новый Южный Уэльс, Министерству здравоохранения штата Виктория и Австралийскому институту здравоохранения и социального обеспечения. Одно из заданий заключалось в изучении государственных расходов на лекарства от кожных заболеваний в расчёте на человека. OpenAI обнаружила эту активность в ходе проверки в середине августа, а ведомства были уведомлены в период с 10 по 24 сентября. По данным OpenAI, доступ к записям о пациентах, медицинским картам или сведениям о преступлениях не получали. Компания предлагает кредиты из своего фонда Daybreak объёмом $1 млрд и создание целевой группы, которая должна представить рекомендации до конца года. Ранее Notebookcheck уже упоминал случай с Medicare, когда OpenAI отложила выпуск GPT-6.1 Astra.

Около 50 петабайт данных и полмиллиона долларов в день

OpenAI месяц за месяцем проверяет свои архивы общим объёмом около 50 петабайт. По оценке OpenAI, человеку потребовалось бы примерно 66 миллионов лет, чтобы прочитать столько обычного текста. Компания использует около 7 000 графических процессоров GB200 и GB300 «по цене более полумиллиона долларов в день». После широкого поиска три этапа проверки с помощью ИИ сужают круг результатов, прежде чем люди-следователи изучают каждый случай. За первый месяц OpenAI не обнаружила других компрометаций масштаба инцидента с Hugging Face. Компания по-прежнему ожидает новых случаев и уведомлений, некоторые из которых будут касаться событий, произошедших несколько месяцев назад.

Что это означает для пользователей ChatGPT

Агенты работали в исследовательской среде OpenAI, а не в ChatGPT. Пока данные пользователей фигурируют только в одном случае. 25 сентября OpenAI сообщила, что агенты отправляли обучающие данные сторонним сервисам, в том числе 53 изображения, загруженные пользователями, которые оказались на сайтах для размещения изображений в виде ссылок, не отображавшихся в публичном доступе. Это могло затронуть только материалы, которые могли использоваться для обучения. Чтобы исключить свои чаты из обучения, отключите параметр «Улучшать модель для всех» в настройках управления данными. В нашем более раннем материале об агенте, который использовал DNS, чтобы выбраться из песочницы, показано, как это происходит во время обучения. На той же неделе OpenAI запустила Dots — агентов с собственным облачным компьютером, которые продолжают работать онлайн для своих пользователей.