Talaas HC1: Эффективный чип выигрывает у всех GPU в ускорении локального ИИ

В технологической индустрии, особенно при разработке процессоров, можно найти определенный баланс между универсальностью и производительностью. Хотя компьютерные чипы или системы могут быть построены таким образом, чтобы обеспечить универсальность и, следовательно, выполнять широкий спектр задач, обычно также возможно разрабатывать и оптимизировать системы для очень специфических приложений. В случае с компьютерным чипом вся его архитектура может быть спроектирована вокруг определенных типов данных, без каких-либо механизмов для обработки особых случаев. Эта концепция может показаться некоторым из Вас знакомой: Например, в криптодобыче CPU и GPU общего назначения были в значительной степени заменены ASIC, которые чрезвычайно эффективны в своей единственной задаче, но непригодны ни для чего другого.

Аналогичная тенденция наблюдается и в ускорении ИИ. Процессоры со встроенными NPU уже вышли на потребительский рынок. Компания Taalas недавно представила HC1 - чип, предназначенный для ускорения не любой модели ИИ, а очень специфической: относительно небольшой Llama 3.1 8B. Несмотря на его специализацию, некоторая степень тонкой настройки остается возможной. По словам Тааласа, чип может достигать 16 960 жетонов в секунду, в отличие от 353 жетонов в секунду, обеспечиваемых Nvidia B200. По сравнению с Cerebras WSE-3, HC1, как сообщается, предлагает в десять раз большую производительность при меньшем энергопотреблении - не говоря уже о том, что стоит он примерно в 20 раз дешевле. Цены и доступность пока не объявлены.