Новая система переводит индивидуальные жесты в речь для людей с ограниченными возможностями общения

Группа исследователей из Университета штата Пенсильвания разработала прототип системы, которая использует носимые датчики и искусственный интеллект для преобразования жестов в речь. Эта система преобразует движения тела, уникальные для каждого человека, в речь, что отличает ее от типовых систем.

Этот новый подход, опубликованный в журнале Augmentative and Alternative Communication, призван помочь людям с двигательными или визуальными нарушениями общаться более независимо и эффективно. Ключевое новшество этой системы - индивидуальная настраиваемость.

В отличие от обычных систем преобразования жестов в речь, обучаемых на больших массивах данных, эта система разработана для обучения идиосинкразическим движениям - жестам, которые имеют специфическое значение, присущее только данному человеку. Это позволяет технологии адаптироваться к специфическим движениям, которые пользователю легко выполнять, тем самым снижая физическую нагрузку на пользователя.

Система работает следующим образом: человеку надевают датчик на запястье и повторяют жест около трех раз. Используя алгоритм искусственного интеллекта, он измеряет характеристики движения жеста, изучая его уникальный паттерн. Затем этому шаблону или жесту соответствует произнесенная фраза, например, "иди сюда" или "прекрати". Подключенное приложение для смартфона произносит эту фразу вслух всякий раз, когда пользователь делает жест.

В процессе разработки команда тесно сотрудничала с людьми, у которых ограничена речь. Одним из примечательных участников была Эмма Элко, страдающая корковым нарушением зрения. Система успешно выучила ее личные жесты, что позволило ей общаться без помощи матери - ее основного партнера по общению.

Исследователи говорят, что следующим шагом будет тестирование прототипа на большем количестве людей, чтобы усовершенствовать его способность различать похожие жесты и игнорировать непроизвольные движения. Они также планируют добавить камеры к существующему датчику, чтобы повысить уровень точности.