Axera AX8860P бросает вызов Nvidia DGX Spark с собственным ИИ-ускорителем

У DGX Spark от Nvidia появился неожиданный конкурент из Китая (спасибо за наводку CNX Software). Производитель чипов Axera представил серию AX8860 — семейство процессоров, ориентированных на ИИ и предназначенных для локального запуска больших языковых моделей. Эти чипы станут основой компактных ИИ-компьютеров таких производителей, как Sipeed и Radxa. При этом Sipeed утверждает, что её готовящаяся к выпуску MaixStation сможет превзойти DGX Spark от Nvidia в отдельных задачах.

Axera AX8860P оснащён 16 процессорными ядрами Arm Cortex-A55 и специализированным нейронным процессором (NPU), способным обеспечивать вычислительную производительность до 256 TOPS в формате FP4. Чип производится по 6-нм техпроцессу и поддерживает до 128 ГБ памяти LPDDR5X через 256-битный интерфейс с максимальной пропускной способностью 273 ГБ/с. Среди других характеристик — поддержка PCIe 5.0, межчиповые соединения AXLink и широкие возможности кодирования и декодирования видео.

В основе ИИ-возможностей AX8860P лежит собственная архитектура Axera AXNeutron. В отличие от графического процессора Blackwell, используемого в DGX Spark от Nvidia, AXNeutron представляет собой специализированную архитектуру нейронного процессора, которая, по описанию Axera, использует программируемую схему потоков данных, оптимизированную для инференса ИИ. Компания утверждает, что такой подход повышает эффективность использования аппаратных ресурсов и сокращает ненужное перемещение данных, потенциально обеспечивая преимущества при запуске языковых моделей на основе архитектуры Transformer.

Однако Axera раскрыла сравнительно мало сведений об аппаратной основе NPU. Поэтому трудно определить, какая доля заявленной производительности обеспечивается улучшениями архитектуры, пропускной способностью памяти или оптимизациями на программном уровне. Заявленные 256 TOPS впечатляют на бумаге, но сравнительно мало говорят об устойчивой производительности при реальных рабочих нагрузках.

Sipeed (да-да, я знаю), разрабатывающая MaixStation на базе AX8860P, утверждает, что её реализация может превзойти DGX Spark от Nvidia в отдельных тестах производительности при инференсе LLM. Компания объясняет свои результаты отчасти встроенным ускорением плотных вычислений FP4 в AX8860P и более эффективным использованием доступной пропускной способности памяти. Кроме того, результаты тестов Sipeed предоставлены самим производителем и охватывают лишь определённые модели и конфигурации инференса. Без независимого тестирования с использованием одинаковых моделей, настроек квантования и программных сред невозможно установить, стабильно ли AX8860P превосходит DGX Spark.

Программная поддержка включает совместимость с популярными фреймворками ИИ, в том числе PyTorch, vLLM и SGLang, однако совместимость не обязательно означает сопоставимую производительность, поддержку функций или простоту развёртывания.

Sipeed планирует предлагать MaixStation с 32 ГБ и 128 ГБ памяти LPDDR5X. Компания ориентируется на цены ниже $2 000 и $4 000 соответственно, а запуск кампании на Kickstarter ожидается ближе к концу 2026 года. Radxa также разрабатывает Pocket Supercomputer на базе AX8860P, а Sipeed обозначила планы по созданию конфигураций ускорителей с несколькими чипами.