Anthropic отвергает предложение Пентагона открыть ИИ Claude для использования в беспилотных системах вооружения или массового наблюдения

ИИ-шутер Anthropic пропустит установленный Пентагоном срок 27 февраля, чтобы лишить свою модель Claude всех гарантий для использования в военных целях.

По словам генерального директора Anthropic Дарио Амодея (Dario Amodei), компания, занимающаяся разработкой ИИ, не может с "чистой совестью" использовать Claude для управления беспилотными системами вооружений или для массовой слежки за гражданами США, поскольку она не является ни достаточно безопасной, ни достаточно надежной, чтобы соответствовать этим целям.

Claude от Anthropic - это одновременно и один из ведущих ИИ-агентов, и самый безопасный, со встроенными средствами защиты от злонамеренного использования его ИИ-инструментов. Военное министерство США (DoW), однако, требует, чтобы чтобы закупаемые им модели ИИ не имели никаких ограничений, кроме собственных мутных ограничений "законного использования":

Разнообразию, равноправию и инклюзивности, а также социальной идеологии нет места в DoW, поэтому мы не должны использовать модели ИИ с идеологической "настройкой", которая мешает их способности давать объективные правдивые ответы на запросы пользователей

Министерство также должно использовать модели, свободные от ограничений политики использования, которые могут ограничить законное военное применение. Поэтому я поручаю CDAO установить контрольные показатели объективности моделей в качестве основного критерия закупок в течение 90 дней, а заместителю военного министра по закупкам и поддержке - включить стандартную формулировку "любое законное использование" в любой контракт DoW, по которому закупаются услуги ИИ, в течение 180 дней.

Теперь Пентагон угрожает компании Anthropic тяжелыми последствиями, которые не ограничиваются влиянием на ее баланс. Помимо того, что это поставит под угрозу текущий контракт на поставку инструментов ИИ Пентагону с потолком в 200 миллионов долларов, Anthropic рискует быть включенным в список рисков цепочки поставок или попросить устранить барьеры Клода для военного использования в соответствии с законом 1950-х годов, разработанным для того, чтобы заставить американские компании соблюдать требования во время Корейской войны по соображениям национальной безопасности.

Обычно в категорию "риск для цепи поставок" попадают компании, потенциально связанные со злонамеренными государственными акторами, такими как китайская Huawei или российский "Касперский", поэтому включение Anthropic в этот список может нанести существенный удар по ее потенциалу заработка. Несмотря на риск стать изгоем в области ИИ для нынешней администрации Белого дома, Амодей настаивает на том, что нынешние"передовые системы ИИ просто недостаточно надежны для питания полностью автономного оружия", а"использование этих систем для массового внутреннего наблюдения несовместимо с демократическими ценностями"

Модель Anthropic's Claude стала базовой, когда правительство впервые захотело использовать инструменты ИИ для просеивания секретной информации, и помогла при планировании рейда, в ходе которого был захвачен венесуэльский силовик Мадуро, поэтому Дарио Амодей выразил надежду, что Пентагон пересмотрит свою позицию по двум сценариям "красной линии", которые он будет продолжать ограничивать в своих моделях ИИ.