Google AI Edge Foresight: офлайн-ИИ для заметок о встречах на Mac

ИИ, который работает локально и хранит все данные на устройстве, — именно это должна обещать Apple. Теперь Google выпустила приложение для Mac, основанное на том же принципе. Google AI Edge Foresight — экспериментальный помощник для встреч, который работает полностью на устройстве. Он записывает звук с микрофона и системное аудио, что позволяет ему работать с любой платформой для встреч, при желании даже без подключения к интернету.

Как это работает на практике? Во время встречи пользователи кратко записывают основные тезисы, а Foresight превращает их в подробные заметки, используя текущую расшифровку разговора. Приложение также распознаёт вопросы, возникающие на встрече, и предлагает подходящие ответы, выполняя поиск на естественном языке по личной базе знаний из документов, изображений, расшифровок и заметок. По данным Google, вся обработка расшифровок и аудио происходит на устройстве, а подписка на облачный сервис не требуется.

На базе EmbeddingGemma 2

Foresight сочетает новую модель EmbeddingGemma 2 от Google DeepMind с языковой моделью Gemma 4. Модели эмбеддингов не генерируют текст. Вместо этого они преобразуют контент в числовые векторы, чтобы можно было находить похожие материалы. Второе поколение помещает текст, код, изображения, видеокадры и аудио в единое векторное пространство. Это позволяет по поисковому запросу находить конкретный момент в записи без предварительного создания описаний изображений или расшифровки. Модель имеет 740 миллионов параметров, использует архитектуру Gemma 4 и доступна по лицензии Apache 2.0, позволяющей разработчикам свободно интегрировать её в свои приложения.

Google также приводит показатель производительности, который может заинтересовать пользователей Mac: обработка изображения на графическом процессоре M5 Pro занимает 37,3 мс, что соответствует чуть менее чем 27 изображениям в секунду. Обработка изображений считается самой ресурсоёмкой частью нагрузки, и Google заявляет, что специально оптимизировала этот процесс.

Демонстрационное приложение с потенциалом

Foresight предназначен прежде всего для демонстрации возможностей разработчикам, и сама Google описывает его как экспериментальное приложение. Тем не менее он предлагает интересную альтернативу для тех, кто проводит конфиденциальные встречи и предпочитает не доверять их расшифровки облачному сервису. Google не сообщила, одинаково ли хорошо работает расшифровка встреч на языках, отличных от английского, хотя компания демонстрирует поиск изображений в сопутствующем приложении AI Edge Gallery с использованием запросов на немецком языке.