Проект Open-Source Kinesis проводит обратное проектирование технологии Neural Band компании Meta для управления Mac с помощью мышечной активности

Компания Meta изначально разработала «Neural Band» в качестве устройства ввода для своих очков дополненной реальности Ray-Ban Display. Вместо того чтобы полагаться на камеры для отслеживания рук в воздухе, браслет использует поверхностную электромиографию (sEMG) для считывания крошечных электрических сигналов, которые нервная система пользователя посылает по руке. Каждый раз, когда датчик фиксирует подергивание пальца или сжатие большого пальца, сенсоры, прилегающие к коже, улавливают двигательные импульсы ещё до того, как палец завершит физическое движение, создавая невидимый, не вызывающий усталости контроллер, который работает, когда руки находятся в естественном положении. Однако до недавнего времени эта технология была доступна только на собственном оборудовании компании Meta.

Kinesis — проект с открытым исходным кодом, опубликованный на GitHub разработчиком callbacked, — провёл обратную разработку незашифрованного потока пакетов Bluetooth Low Energy (BLE) браслета. Утилита Kinesis в строке меню подключается к устройству напрямую по Bluetooth, полностью обходя проприетарные демоны и облачные серверы Meta. Преобразуя необработанные импульсы нейромышечного датчика в системные события macOS, сжатие большого и указательного пальцев регистрируется как щелчок мыши, вращение пальцев регулирует громкость системы, а небольшое движение запястья переключает виртуальные рабочие столы в Mission Control.

На данный момент использование Kinesis ограничено операционной системой macOS. Однако широкая кроссплатформенная поддержка представляется практически неизбежной. Поскольку разработчик проанализировал исходный протокол BLE устройства, а не полагался на проприетарные фреймворки Apple, перенос декодера на Linux или Windows не представляет сложности и может открыть путь для реализации нейронной навигации по рабочему столу с открытым исходным кодом в любой операционной системе. Более подробную информацию о Kinesis Вы можете найти по ссылке ниже.