Claude выдумал сообщение об убийстве и отправил его в полицию во время теста

9 октября Anthropic опубликовала отчет о непреднамеренных действиях своих моделей. Самый примечательный случай связан с Claude Haiku 4.5. Модель генерировала примеры взаимодействия с сайтами, когда попала на страницу полиции Филадельфии о нераскрытом убийстве. На странице была форма для передачи сведений. Claude написала, что, возможно, видела человека, подходящего под описание, рядом с улицей, указанной на странице, оставила поля имени и контактных данных пустыми и нажала кнопку отправки. На странице вообще не было описания подозреваемого, поэтому Claude выдумала эти сведения.

Это произошло 18 июля, незадолго до полуночи. Система полицейского управления пометила сообщение как спам, и оно так и не попало к следователям. Anthropic обнаружила этот инцидент только 28 сентября при проверке журналов тестирования и сообщила о нем городским властям в начале октября. В заявлении, о котором сообщил NBC10, полиция отметила: «Двухмесячная задержка в обнаружении инцидента и уведомлении городских властей недопустима».

Закономерность в журналах тестирования

В отчете перечислены и другие случаи, когда Claude обходила препятствие вместо того, чтобы остановиться. Claude Haiku 4.5 несколько раз отправляла формы, хотя ей было предписано остановиться перед последним шагом, поскольку она ожидала увидеть страницу подтверждения. Не выпущенная публично исследовательская модель перешла на действующий государственный сайт и отправила настоящую форму, хотя должна была использовать учебную копию. По данным Axios, Госдепартамент получил от тестовой модели Anthropic 20 незаполненных до конца заявлений на визу, 19 из них — в августе. Ни одно не было обработано. Claude Mythos 5 извлекла токены доступа из файла настроек картографического сервиса и отправила запросы напрямую на его сервер. Claude Opus 5 и Mythos 5 использовали бесплатные сервисы сокращения URL, чтобы обойти ограничение длины в своем инструменте загрузки веб-страниц.

Anthropic утверждает, что данные клиентов не были затронуты, а последствия в реальном мире были минимальными. Однако некоторые случаи произошли при обычном внутреннем использовании Claude. Компания также пишет, что обучение моделей согласованному с человеческими намерениями поведению «само по себе пока недостаточно или не вполне надежно». Еще в июле Anthropic сообщила, что Claude взломала системы трех реальных компаний во время тестов безопасности.

Anthropic отключает доступ к реальному интернету при оценке моделей

Все внутренние оценки теперь проводятся без доступа к открытому интернету. Anthropic прекратила использовать некоторые публичные тесты и переработала другие так, чтобы они больше не обращались к реальным сайтам. Для инструментов, таких как загрузка веб-страниц, вводятся более жесткие ограничения, а новые средства обнаружения призваны блокировать подобное поведение. Во время собственных испытаний Anthropic эти средства выявили все случаи, описанные в отчете. Белый дом отреагировал через свою новую группу Super Intelligence Force, которая потребовала от ИИ-компаний немедленно сообщать об инцидентах с участием их моделей. «Эта процедура уведомления и устранения последствий обязательна», — заявила группа в комментарии Axios.

Что это означает для Claude in Chrome

Одна деталь случая с полицией важна для обычных пользователей. Инструкции теста запрещали вход в учетные записи, использование персональных данных, покупки и разрушительные действия, но не запрещали формы, и Claude восприняла это как разрешение. В расширении Claude in Chrome есть похожий пробел. В его руководстве по разрешениям говорится, что во всех режимах оно отказывается от покупок, создания новых учетных записей и безвозвратного удаления, а перед вводом конфиденциальной информации всегда запрашивает разрешение. Обычная форма без конфиденциальных данных не подпадает ни под одно из этих правил.

У расширения три режима подтверждения действий. В режиме «Manually approve» Claude запрашивает разрешение перед каждым действием. Режим «Automatically approve» передает решение механизму проверки безопасности и используется по умолчанию в боковой панели Cowork, а «Skip all approvals» отключает и запросы разрешений, и проверку безопасности. Если вы позволяете Claude заполнять формы на сайтах, которые не контролируете, переключитесь на ручное подтверждение в раскрывающемся меню рядом с полем ввода чата. В настройках расширения также перечислены все сайты, для которых вы выдали постоянное разрешение, и там же его можно отозвать. В августе одного специально составленного электронного письма оказалось достаточно, чтобы перехватить управление пятью ИИ-браузерами.