LLM-8850: Плата расширения превращает Raspberry Pi 5 в локальную платформу искусственного интеллекта

Облачные модели ИИ весьма удобны для обычных пользователей. Однако в некоторых случаях для обеспечения конфиденциальности данных или в условиях медленного или отсутствующего Интернет-соединения может потребоваться локальный запуск таких моделей. При этом определенная производительность необходима для запуска больших языковых моделей или даже видеоанализа с помощью ИИ. Последнее может быть полезно, например, для подсчета людей, проходящих через вход в здание.

С M5Stack LLM-8850на рынке появилась еще одна карта расширения, ускоряющая именно такие приложения ИИ. Она работает на базе SoC Axera AX8550 с четырьмя ядрами Cortex-A55 и NPU с производительностью 24 TOPs. Для сравнения, NPU, встроенные в современные процессоры AMD и Intel, обеспечивают примерно вдвое большую производительность. На борту также имеется VPU, который может одновременно декодировать до 16 видеопотоков с разрешением Full HD. Плата оснащена 8 Гб оперативной памяти и поставляется с радиатором и вентилятором.

Плата подключается через слот M.2 Key M и использует две полосы PCIe 2.0. Плата имеет размеры 1,68 x 0,94 x 0,38 дюйма и совместима с Raspberry Pi 5 и другими одноплатными компьютерами или даже мини-ПК, а также с различными AI-фреймворками. И последнее, но не менее важное: официальная цена M5Stack LLM-8850 составляет $99, но могут взиматься дополнительные сборы за доставку и импорт.