Nvidia представила платформу безопасности для мониторинга ИИ-агентов и их молниеносной изоляции

В последнее время привлекло внимание всё больше сообщений от крупных компаний в сфере ИИ о том, как их ИИ якобы вырвался из системы, которая должна была быть закрытой, и взломал другие системы. С тех пор ведутся споры о том, является ли это главным образом пиар-ходом, призванным убедить клиентов в невероятных возможностях их ИИ, или же эти инциденты действительно служат тревожными сигналами.

В любом случае по мере того, как ИИ-агенты становятся всё более способными, растёт и обеспокоенность вопросами безопасности. Теперь Nvidia надеется решить эти проблемы с помощью своей новой платформы. По словам Nvidia, задача отнюдь не проста, поскольку для эффективной работы ИИ также нужен доступ к определённым документам или разделам веба.

Новая платформа безопасности Nvidia называется OpenShell и по сути представляет собой песочницу из двух уровней: ИИ-агентам предоставляются точные разрешения на доступ — например, к определённой папке, — а всё остальное блокируется. Второй уровень, называемый Sentry, непрерывно отслеживает и записывает действия агентов и, по всей видимости, может изолировать ИИ за считаные миллисекунды, если тот попытается выйти за установленные границы.

Однако пользоваться системой не так уж просто: пользователям необходимо заранее точно определить, что агенту разрешено и запрещено делать. С одной стороны, это несколько затруднительно; с другой — потенциально может лишить ИИ возможности находить творческие альтернативные решения, о которых пользователи раньше не задумывались.

Nvidia также реагирует на предупреждения сотрудников компаний в сфере ИИ о том, что ИИ может стать реальной угрозой для человечества, и на призывы замедлить стремительное, казалось бы, неудержимое развитие ИИ. Однако, по мнению Nvidia, безопасность ИИ — это прежде всего инженерная задача, которую можно решить техническими средствами.