Tencent представляет четыре компактные модели Hunyuan с открытым исходным кодом и параметрами 0.5B, 1.8B, 4B и 7B

Компания Tencent выпустила на сайте https://news.mydrivers.com/1/1066/1066161.htm новый набор компактных моделей Hunyuan: 0.5 миллиардов, 1,8 миллиарда, 4 миллиарда и 7 миллиардов параметров; они нацелены на маломощные и пограничные системы. Все четыре конфигурации уже доступны на GitHub и Hugging Face, и каждая из них может выполнять вычисления на одной видеокарте потребительского класса, что делает их подходящими для ноутбуков, смартфонов, систем smart-cabin и других аппаратных средств с ограниченными ресурсами.

Несмотря на свои небольшие размеры, модели достигли ведущих результатов в понимании языка, математике и рассуждениях в нескольких публичных бенчмарках. Tencent объясняет эти результаты архитектурой "fusion reasoning", которая позволяет пользователям выбирать между режимом быстрого мышления для кратких ответов и режимом медленного мышления для более сложных многоэтапных рассуждений.

Ключевой технической особенностью является собственное контекстное окно на 256K лексем, которого достаточно для ввода примерно 500 000 английских слов за один проход. Tencent особо отмечает приложения собственного производства, такие как Tencent Meeting и WeChat Reading, где модели могут разобрать всю стенограмму встречи или полнометражную книгу за один раз, сохраняя отношения между персонажами и детали сюжета для последующих запросов.

Четыре компактных LLM интегрируются с основными фреймворками для выводов, включая SGLang, vLLM и TensorRT-LLM, и поддерживают несколько форматов квантования. Первоначальное одобрение со стороны Arm, Qualcomm, Intel и MediaTek указывает на готовящиеся пакеты развертывания, оптимизированные для их соответствующих клиентских процессоров.

Первые примеры использования подчеркивают практическую направленность релиза. Tencent Mobile Manager сообщает о перехвате спама на миллисекундном уровне без передачи данных за пределы устройства. В то же время, схема с двумя моделями в интеллектуальном помощнике Tencent для салона автомобиля позволяет сбалансировать потребление энергии на борту и глубину разговора. Эти примеры, по мнению Tencent, демонстрируют, что небольшие модели могут обеспечить возможности агентов корпоративного уровня при продуманном проектировании.