Google Pixel 11 преобразует американский язык жестов в печатный текст

В среду компания Google DeepMind представила модель перевода жестового языка, и эта разработка не останется в лаборатории. SL2T (сокращение от «sign-language-to-text», что означает «перевод жестового языка в текст») теперь работает в клавиатуре Gboard и приложении Live Transcribe на смартфоне Pixel 11. Покажите жест — и вы получите текст. Она работает везде, где вы обычно печатаете: при поиске в Интернете, в сообщениях, документах и запросах к Gemini. Google не взимает за это дополнительной платы.

Для глухих пользователей это больше, чем просто удобство. Около 70 миллионов человек по всему миру используют один из более чем 200 языков жестов в качестве основного языка, и функция диктовки, которую слышащие пользователи уже много лет считают само собой разумеющейся, для них никогда не была доступна. Теперь в приложении Live Transcribe они могут отвечать на сообщения, а не набирать текст во время разговора.

Камера никогда не отправляет видео в Google

Наиболее интересной частью является подход к обеспечению конфиденциальности. Модель никогда не видит изображение с камеры. Система MediaPipe Holistic работает на телефоне и преобразует видеозапись в ориентиры тела — простые координаты рук, предплечий, головы и лица. На сервер передаются только эти числовые данные, и, по заявлению Google, видеозапись немедленно удаляется.

Не менее важно и то, что Google упустил. Ранее системы осуществляли перевод с помощью глосс — упрощённой промежуточной нотации отдельных жестов, которая упускает значительную часть того, что на самом деле несут жестовые языки, включая мимику и использование пространства. SL2T переходит непосредственно от ориентиров к тексту. Для обучения было использовано более 100 000 часов видеоматериалов, охватывающих свыше 50 жестовых языков, причём примерно четверть этого объёма приходится на американский жестовый язык. В тесте FLEURS-ASL система набрала 70 баллов по шкале BLEURT — показателю качества перевода — без предварительного ознакомления с тестовыми данными.

Только один язык, и Google самостоятельно выявляет собственные ошибки

Проблема заключается в списке поддерживаемых языков. На момент запуска SL2T переводит только с американского жестового языка (ASL) на английский, и больше ничего, поэтому пользователи британского, немецкого или любого другого жестового языка пока вынуждены ждать. Google обещает добавить больше языков и поддержку большего числа устройств, не называя конкретных сроков.

Точность перевода также не идеальна, и компания сама признает это на своих примерах. Быстрое пальцевое написание превращает слово «prey» в «grey», выпадает описательный классификатор, изменяется время глагола при отсутствии контекста. Команда действительно решила практические проблемы: задержку при переводе в реальном времени, вымышленный вывод, когда никто не использует язык жестов, левшей, использующих язык жестов, а также перевод одной рукой, который становится необходимым в тот момент, когда другая рука держит телефон.

На всех этапах в разработке участвовали профессионалы из числа глухих. Консультативная группа под названием AISLAC сопровождала выпуск и стала соавтором отчёта о том, на что способна модель, а на что — нет.

Пока что только для Pixel 11

Чтобы опробовать эту функцию, необходимо приобрести Pixel 11. Компания Google открыла предзаказ 12 августа, и по состоянию на 13 августа в Google Store этот телефон по-прежнему указан в списке предзаказов по цене 899 долларов. Более старые модели, такие как Pixel 10 Pro, пока не поддерживают эту функцию.