ИИ без облака: эта языковая модель теперь помещается на вашем iPhone

Для работы крупных языковых моделей, как правило, требуется центр обработки данных или, по крайней мере, мощный персональный компьютер с большим объёмом оперативной памяти. Американский стартап PrismML, основанный исследователями из Калифорнийского технологического института (Caltech) и получивший финансирование, в частности, от Google и Khosla Ventures, 14 июля представил модель « » Bonsai 27B — модель искусственного интеллекта с 27 миллиардами параметров, самая компактная версия которой занимает всего 3,9 ГБ. Впервые модель такого класса помещается в оперативную память iPhone 17 Pro. Наше руководство «ИИ без облака» покажет вам, как настроить языковую модель на собственном компьютере.

Размер сокращён с 54 ГБ до менее 4 ГБ

В основе лежит открытая модель Qwen3.6 27B от Alibaba, которая при полной точности занимает около 54 ГБ. PrismML хранит каждый вес нейронной сети, используя от 1 до 2 битов вместо обычных 16. В результате получились две сборки: тройная версия номинальным размером 5,9 ГБ для ноутбуков и 1-битная версия размером 3,9 ГБ для смартфонов. По данным производителя, версия для ноутбуков сохраняет 95 процентов исходной производительности по 15 тестам, а версия для смартфонов — 90 процентов. Математические вычисления и программирование практически не затронуты. Веса находятся в свободном доступе по лицензии Apache 2.0 и запускаются через фреймворк Apple MLX на iPhone, iPad и Mac, а также через CUDA на графических картах NVIDIA.

Возможности iPhone и пределы его возможностей

Согласно техническому документу, версия объёмом 3,9 ГБ генерирует около 11 токенов в секунду на iPhone 17 Pro Max (, доступный на Amazon). Полного заряда аккумулятора хватает примерно на 67 000 токенов. После чуть более пяти минут непрерывной работы процессор переходит в режим ограничения производительности. Однако эти тестовые показатели приведены самим производителем. Его собственная таблица выявляет наиболее серьёзные недостатки в области распознавания изображений и использования инструментов — именно в тех сферах, где ИИ-агенты должны демонстрировать наилучшие результаты. Кроме того, фактический размер загружаемых файлов для версии для ноутбуков варьируется от 7,2 до 8,5 ГБ в зависимости от среды выполнения, что значительно превышает заявленные показатели. Готового приложения для обычных пользователей пока нет. На данный момент целевой аудиторией являются разработчики и энтузиасты. Все, кто просто хочет опробовать модель, могут найти браузерную демо-версию на сайте на сайте Hugging Face.

Компания Apple уже изучает эту технологию

;

генеральный директор PrismML Бабак Хассиби сообщил CNBC , что Apple и другие компании в настоящее время тестируют эти модели на скорость, энергопотребление и производительность. Он охарактеризовал переговоры как находящиеся на самом раннем этапе. Для пользователей наиболее важно направление развития: чем больше ИИ работает непосредственно на устройстве, тем меньше личных данных попадает в облако. Мы уже подробно писали о том, том, что ваш ИИ тайно хранит и как вы можете это предотвратить.