Fish Audio Drama 3 позволяет голосам ИИ менять эмоции посреди предложения

Fish Audio представила Drama 3 — модель синтеза речи, призванную сделать диалоги, созданные ИИ, менее похожими на чтение сценария и более похожими на настоящую актёрскую игру. Модель, выпущенная 13 октября, позволяет авторам управлять эмоциями, темпом и манерой речи с помощью обычного языка.

Вместо того чтобы полагаться на базовые голосовые настройки, пользователи могут вставлять указания прямо в свои сценарии. Персонаж может начать говорить спокойно, постепенно всё сильнее раздражаться и закончить фразу шёпотом — и всё это без переключения между отдельными записями. Теперь даже синтетическим актёрам приходится следовать режиссёрским указаниям.

Drama 3 также поддерживает диалоги с несколькими персонажами и 83 языка. Указания можно применять к отдельным словам или фрагментам, позволяя авторам выделять определённые выражения, не меняя остальной сценарий.

По данным Fish Audio, модель достигла точности 93,2% в бенчмарке Pronunciation Robustness от Artificial Analysis по сравнению с 88,1% у предшественницы, S2.1 Pro. Однако точность произношения не обязательно гарантирует убедительную передачу эмоций.

Компания также разрабатывает два продвинутых инструмента редактирования. Interactive Editing позволит пользователям дорабатывать озвучку с помощью дополнительных инструкций, а Audio Inpainting предназначен для замены отдельных слов без повторной генерации записей целиком. Оба инструмента пока проходят ограниченное тестирование только по приглашениям.

Drama 3 доступна на сайте Fish Audio, в мобильных приложениях и через API. Веса модели также можно скачать, однако коммерческое использование регулируется лицензионными ограничениями.

До 12 ноября доступ к API стоит $10 за миллион символов — это скидка 80% от обычной цены в $50. На новые подписки для авторов в период акции также действует скидка 50%.