Tiiny AI Pocket Lab: Мини-ПК с 12-ядерным ARM-процессором и 80 ГБ памяти LPDDR5X представлен перед выставкой CES
Tiiny Lab - это американский стартап https://tiiny.ai которая, судя по всему, специализируется на аппаратном обеспечении, предназначенном для персональных LLM. Их последний продукт, получивший название Pocket Lab, знаменует собой выход на территорию мини-ПК. Мини-ПК с подходящим названием невероятно компактен и может похвастаться действительно мощным оборудованием, способным выполнять LLM с числом параметров до 120 миллиардов, что является весьма впечатляющим заявлением.
12-ядерный ARM-процессор с dNPU для 160 + 30 TOPS вычислений ИИ
Интересно, что компания Tiiny AI заявила, что мини-ПК Pocket Lab был признан "Самым маленьким мини-ПК в мире" в категории 100B LLM Local по версии Книги рекордов Гиннесса, что, честно говоря, кажется странным. Вне зависимости от этого, нет никаких сомнений в том, что мини-ПК Pocket Lab чрезвычайно компактен - всего 14,2 x 8 x 2,5 см или 5,6 x 3,15 x 1 дюйм. При весе всего 300 грамм система также довольно легкая.
Tiiny AI также заявляет, что установка одним щелчком мыши таких известных моделей с открытым исходным кодом, как Llama, Qwen, DeepSeek, Mistral, Phi и OpenAI GPT-OSS. OTA-обновления программного обеспечения будут предоставляться регулярно, что звучит многообещающе. Но, конечно, будут ли эти обещания выполнены, еще предстоит узнать. В аппаратном плане мини-ПК Pocket Lab обладает неплохими характеристиками, о чем подробно рассказано ниже:
- 12-ядерный ARM-процессор на базе ARMv9.2
- NPU с 160 TOPS
- 80 Гб памяти LPDDR5X, из которых 48 Гб отведено под NPU
- тВЕРДОТЕЛЬНЫЙ НАКОПИТЕЛЬ ЕМКОСТЬЮ 1 ТБ
- мощность 65 Вт
- Полностью автономная работа
Tiiny AI утверждает, что Pocket Lab может обрабатывать LLM с количеством параметров до 120 миллиардов, хотя уровни квантования не были указаны. Информация о цене также пока держится в секрете, но нет сомнений, что мини-ПК Pocket Lab обойдется в копеечку. Даже при агрессивном 4-битном квантовании запуск модели с 120 миллиардами параметров кажется слишком надуманным для системы с общим объемом памяти всего 80 Гб. Конечно, окончательные результаты еще предстоит увидеть в реальной жизни.
Для обычных пользователей, которым не нужны локальные LLM и которые предъявляют умеренные требования к производительности, скорее всего, лучше подойдет обычный мини-ПК, например, Minisforum AI X1 Pro (сейчас стоит $1 087,90 на Amazon).
Источник(и)
Tiiny AI, замеченный TechPowerUp
