Следующая большая ставка Nvidia на ИИ: гуманоидные роботы, подключенные к облаку

Всего за 4 года сектор ИИ пережил колоссальный рост, в основном благодаря компании Nvidia и ее мощным графическим процессорам, специально разработанным для рабочих нагрузок ИИ. Компания Team Green начала делать ставки на ИИ еще в середине 2010-х годов, но результаты стали очевидны только несколько лет назад. Теперь, когда аппаратная сторона ИИ активно освещается и даже граничит с монополией, Nvidia ищет будущие ставки, которые могут еще больше увеличить ее стоимость в будущем. В этом году на выставке Computex команда Green сигнализирует, что одной из таких ставок может стать физический ИИ и гуманоидная робототехника.

Как объяснил генеральный директор Дженсен Хуанг в своем выступлении ранее сегодня, "физический ИИ и робототехника приведут к следующей промышленной революции. От мозгов ИИ для роботов до симулированных миров для тренировок или суперкомпьютеров ИИ для обучения базовых моделей - NVIDIA предоставляет строительные блоки для каждого этапа развития робототехники"

Nvidia Isaac Gr00T

Сфокусировавшись на физическом ИИ, Nvidia также расширяет свои возможности в области программного обеспечения. Основным компонентом в этой области является первая открытая ОС для человекоподобных роботов компании под названием Isaac. В дополнение к ней разработчики могут добавлять обученные модели, такие как Gr00t N1.0, представленной в марте этого года. Она была обновлена до версии 1.5, в которой добавлен компонент Dreams. Версия 1.0 с компонентом Mimic представляла собой основу для обучения рассуждениям и поведению роботов, а с компонентом Dreams компания Nvidia представляет план, который помогает генерировать огромное количество синтетических данных о движении (нейронных траекторий), которые разработчики физического ИИ могут использовать для обучения роботов новым двигательным навыкам, включая адаптацию к изменяющимся условиям окружающей среды.

Процесс обучения напоминает преобразование текста в изображение / видео модели. Сначала роботы проходят посттренинг с помощью моделей основ мира (WFM) Cosmos Predict. Используя одно изображение в качестве входных данных, GR00T-Dreams затем генерирует видеоролики, на которых робот выполняет новые задачи в новых условиях. Модель извлекает маркеры действий (сжатые фрагменты данных, легко обрабатываемые нейронной сетью робота), которые учат робота, как выполнять новые действия.

Isaac GR00T от Nvidia тесно связан с платформами Omniverse и Cosmos, чтобы генерировать обучающие данные. Обновление N1.5, а также другие модели, такие как Isaac Sim 5.0 и Isaac Lab 2.2, скоро будут доступны для загрузки в репозитории Hugging Face. Среди компаний-первопроходцев, которые уже используют модели Isaac N для человекоподобных роботов, - AeiRobot, Foxlink, Foxconn, Lightwheel, NEURA Robotics, Boston Dynamics, Agility Robotics и XPENG Robotics.

Кроме того, компания Nvidia предлагает свои универсальные системы Blackwell Systems на базе Графических процессоров RTX PRO 6000 как и DGX Cloud инфраструктуру, чтобы разработчики могли легко использовать большие объемы вычислительной мощности для обучения роботов.