Мини-ПК RTX Spark обещает преодолеть ограничения памяти благодаря необычному SSD с ИИ от Mechrevo

Китайский производитель ПК Mechrevo готовится выпустить новый мини-ПК под названием Master Road X10. В отличие от обычных мини-ПК, Master Road X10 предназначен прежде всего для локального запуска больших моделей ИИ и предлагает несколько интересных доработок, которые действительно могут оказаться полезными. Master Road X10 использует платформу RTX Spark от Nvidia, которая объединяет 20-ядерный процессор Grace с графическим процессором Blackwell, оснащённым до 6 144 ядер CUDA. Она поддерживает до 128 ГБ унифицированной памяти LPDDR5X.

Это максимальные характеристики платформы, и Mechrevo пока не подтвердила точную конфигурацию своего мини-ПК. Однако самая интересная особенность — фирменный AI SSD от Mechrevo. Вместо того чтобы полагаться исключительно на системную память, эта технология позволяет выгружать части больших моделей ИИ из DRAM во флеш-память NAND. Она также может сохранять и повторно использовать ранее обработанный контекст, что теоретически сокращает избыточные вычисления и накладные расходы на загрузку моделей. Mechrevo утверждает, что это позволяет Master Road X10 запускать модели с 80 миллиардами, 120 миллиардами и даже 122 миллиардами параметров, сохраняя быстрый отклик. К сожалению, точная ёмкость SSD не указана.

Mechrevo рассказывает об этой технологии не впервые. Во время сентябрьской презентации компания заявила, что её AI SSD может увеличить объём поддерживаемых рабочих нагрузок моделей до 5,7 раза и ускорить этап предварительной обработки входного контекста (prefill) на величину до 95%. Лабораторные испытания на ноутбуке Mechrevo Yaoshi 15 Air как сообщается, продемонстрировали почти двукратное увеличение скорости инференса. Также утверждается, что SSD поддерживает долговременную память ИИ, сохраняя пользовательские предпочтения и контекстную информацию между сеансами. Однако есть несколько важных оговорок.

Mechrevo не опубликовала подробные результаты тестов, настройки квантования моделей или условия испытаний, которые подтверждали бы эти заявления. Кроме того, флеш-память NAND значительно медленнее DRAM, а это означает, что SSD, способный вместить более крупную модель, не обязательно обеспечит более быстрый инференс. Пока конфигурации памяти Master Road X10, ёмкость AI SSD, возможности подключения, цена и дата выхода остаются неизвестными. Будет интересно посмотреть, сможет ли Mechrevo воплотить свои амбициозные заявления о лабораторных результатах в измеримое повышение производительности в реальных условиях.