Запуск ИИ в локальном режиме: Acer Swift Go 16 AI протестирован с помощью Stable Diffusion, ChatGPT, Gemma3 и других
Ноутбук Acer Swift Go 16 AI с 16 Гб оперативной памяти и процессором AMD Ryzen 7 350 недавно прошел наше тестирование. Добавка "AI" в его названии говорит о том, что этот ноутбук готов к работе с приложениями искусственного интеллекта. Наш обзороднако, говорит о том, что объем оперативной памяти может оказаться недостаточным для такого использования. Тем не менее, языковые модели, генераторы изображений и видеоинструменты становятся все более мощными и по-прежнему требуют меньше оперативной памяти. На бумаге некоторые интересные модели ИИ могут работать на памяти ноутбука. Мы испытали их на практике.
Последняя версия Windows 11 уже включает в себя несколько инструментов ИИ, некоторые из которых работают локально, а другие - на серверах Microsoft. К сожалению, не всегда понятно, откуда Copilot и другие инструменты черпают свои вычислительные мощности. Приложение Copilot постоянно требует активного подключения к Интернету. Некоторые функции в приложении Фото работают локально без подключения к Интернету, в то время как другие требуют наличия учетной записи Microsoft и не работают в автономном режиме. Улучшение качества изображения и звука с веб-камеры обрабатывается локально с помощью NPU (Neural Processing Unit). Также была вновь введена функция Microsoft Recall, которая вызвала некоторые споры. Однако по умолчанию она остается отключенной и может быть использована только при включенном шифровании устройства и защите паролем. Многие другие функции искусственного интеллекта в Windows не особенно заметны или работают только с Microsoft Office.
Чтобы использовать альтернативные языковые модели и инструменты генерации изображений локально, Вам потребуется специальное программное обеспечение. Однако процесс запуска этих программ на Вашем домашнем компьютере уже не так громоздок, как это было всего год назад. Теперь для них есть простое программное обеспечение, которое быстро устанавливается и открывает перед пользователем множество возможностей. Amuse предлагает программное обеспечение для создания и редактирования изображений AI, специально разработанное для аппаратного обеспечения AMD в Acer Swift Go 16 AI. LM Studio предоставляет удобный способ использования SLM (малых языковых моделей) - по сути, ИИ для генерации текста. FastFlowLM не так удобен в использовании, но он работает более энергоэффективно на NPU. Мы установили все три программы на наше тестовое устройство. Однако Acer Swift Go 16 AI, который мы использовали, к сожалению, не оптимально оснащен всего 16 ГБ памяти. Windows и предустановленные программы Acer быстро расходуют от шести до девяти гигабайт ограниченной памяти. Таким образом, для искусственного интеллекта остается около 10 ГБ памяти. Amuse определяет, что пригодно для использования около 8 ГБ памяти. LM Studio оценивает 15 ГБ, но при попытке загрузить достаточно большую языковую модель происходит сбой.
AMUSE - редактирование и генерация изображений AI
Мы использовали Amuse в его последней версии на момент тестирования (3.1). Программа бесплатна и устанавливается без проблем. Здесь поддерживается NPU процессора AMD, что должно заметно ускорить работу с искусственным интеллектом даже без выделенного GPU. Помимо генерации текста в изображение, программа также предлагает функции преобразования изображения в видео и изображения в изображение.
Чтобы действительно генерировать изображения, Вам необходимо сначала установить Amuse, а затем загрузить соответствующие модели. Это делается с помощью программы, что относительно просто, но требует времени, поскольку каждая модель содержит несколько гигабайт данных. Из трех предустановок, которые Amuse предлагает в режиме для начинающих, нам не подошел вариант "Сбалансированный". режимы "Быстрый" и "Качественный", однако, работают, хотя только быстрый режим действительно работает без проблем. Режим "Fast" основан на использовании небольшого Dreamshaper LCM Turbo. Он хорошо вписывается в ограниченный объем памяти ноутбука и работает очень быстро. Изображения генерируются за считанные секунды. В экспертном режиме также работают StableDiffusion XL Turbo и StableDiffusion 3. Последняя может быть даже перегружена на NPU. Но обе модели полностью используют память ноутбука и работают не очень быстро. Использование памяти становится особенно проблематичным, когда Amuse запущен, и ничто другое на ноутбуке не работает гладко. В серьезных случаях Amuse даже падает, если фоновое окно браузера требует слишком много памяти. Только использование маленького Dreamshaper LCM доставляет удовольствие. Тем не менее, он дает относительно неплохие результаты. Однако его корни отчетливо видны в Stable Diffusion 1.5. Если Вы не будете внимательно следить за подсказками, то увидите множество нечетких краев и странных пропорций. Но Dreamshaper LCM также невероятно быстр. В мгновение ока эта модель может создавать изображения. Здесь количество приоритетнее качества. Когда изображение уже достаточно хорошо проработано. Затем его качество можно улучшить в Amuse с помощью редактирования от изображения к изображению.
LM Studio - чат-боты, модели рассуждений и многое другое
LM Studio это система управления и исполнения языковых моделей. На Вашем ноутбуке производные ChatGPT, Llama, Qwen3 и другие могут выполняться локально. Как и в случае с Amuse, ограничивающим фактором для Acer Swift Go 16 AI, похоже, является скудная память, а не вычислительная мощность. Новый gpt-oss 20B от OpenAI терпит крах при загрузке из-за недостатка памяти. Основываясь на опыте, мы можем подтвердить, что модель безупречно работает на ноутбуках с AMD Ryzen 9 370 и 32 ГБ памяти.
Qwen3 Vi 8B, Qwen3 4B Thinking и IBM's Granite 4 H Tiny (Q4_K_M и Q8_0) работали на ноутбуке Acer на удивление хорошо. Самая маленькая языковая модель IBM работает удивительно быстро и блещет достаточным количеством ответов. Qwen3 Vi 8B впечатляет очень естественным тоном речи и демонстрирует особые качества в обработке изображений. Людям с ослабленным зрением такой ИИ может оказать большую помощь при работе на ноутбуке. Модель рассуждений Qwen3 4B Thinking оказалась самой медленной в наших тестах при работе с чисто текстовыми ответами. Но в основном ответы впечатляют. В зависимости от сложности вопроса, получение ответа от Qwen3 может занять до пяти минут. Конечно, Вы можете наблюдать за процессом обдумывания и немедленно вмешаться, если ответ идет совершенно не в том направлении.
Многие другие небольшие языковые модели также должны хорошо работать на нашем тестовом устройстве. Однако каждая языковая модель также потребляет значительное количество места на SSD. На каждую языковую модель должно приходиться от 3 до 7 ГБ. Маленькие SLM (Small Language Models) оказываются удивительно универсальными.
ИИ на ходу - FastFlowLM с полной поддержкой AMD-NPU
Тем, кто использует LM Studio в путешествиях, придется быть готовым к тому, что батарея быстро разрядится. LM Studio использует как CPU, так и GPU для всех вычислений. Энергоэффективный NPU в нашем Ryzen 7 350, к сожалению, остался нетронутым. FastFlowLM позволяет Вам воспользоваться производительностью NPU чипа AMD. Это сопровождается значительно меньшим энергопотреблением, несмотря на то, что LLM работает на NPU не заметно медленнее. Качество выходных данных остается неизменным. Однако FastFlowLM немного сложнее в использовании, чем LM Studio, поскольку он не имеет собственного графического интерфейса пользователя. Графический интерфейс для FastFlowLM можно получить через Open WebUI. В противном случае он используется через Windows PowerShell. Хотя это может быть уникальным опытом.
Для сравнения мы измерили энергопотребление ноутбука при использовании Gemma3:4b с LM Studio и FastFlowLM. При использовании FastFlowLM максимальное энергопотребление ноутбука составило около 25 Вт. Значительно выше было энергопотребление при использовании той же модели через LM Studio. Мы измерили потребление энергии на уровне около 65 Вт. При этом в обоих случаях скорость вывода (в жетонах в секунду) значительно превышала 10 жетонов в секунду. В зависимости от того, как Вы рассчитываете, Gemma3:4b достигает от 250 до 600 слов в минуту при 10 токенах/с. Как правило, 1,8 лексем соответствует немецкому слову, 1,3 лексемы - английскому слову. Мы проанализировали немецкие тексты, созданные Геммой, и пришли к выводу, что их скорость составляет примерно 450 слов в минуту. Это намного быстрее, чем у обычного читателя.
Заключение - Локальный ИИ возможен, но не всегда применим
Функции ИИ в Windows работают безупречно на Acer Swift Go 16 AI. Удивительно, но ответы от таких SLM, как Gemma3, Qwen3 и Granite 4, появляются на экране быстро, но с разным качеством, зависящим от модели и задачи. Тем, кто определенно хочет использовать модели Text2Image и другие функции Amuse, вероятно, стоит выбрать ноутбук с большим объемом памяти. На сайте Acer Swift Go 16 AI также доступен с 32 ГБ оперативной памяти.
В конечном итоге, искусственный интеллект все еще находится в зачаточном состоянии. Программ, которые были бы просты в использовании и использовали возможности NPU AMD, еще не существует. Это очень жаль, потому что производительность, которой мы смогли добиться с помощью некоторых наворотов, была особенно впечатляющей. Даже программа Amuse демонстрирует многообещающий потенциал на ноутбуке, но, на наш вкус, она выдает слишком много сообщений об ошибках и иногда работает довольно медленно.
Об этом свидетельствуют, прежде всего, наши тесты: Если Вы хотите эффективно использовать функции искусственного интеллекта, Вам нужно много быстрой оперативной памяти. Самый лучший ИИ ничего не стоит, если все остальные программы, такие как Word и браузеры, зависают при использовании функций ИИ.
Quelle(n)
