👄 ИИ поможет YouTube синхронизировать губы
YouTube тестирует новую технологию на базе ИИ, которая позволит синхронизировать движения губ спикеров с автоматическим переводом. Эта функция дополнит существующую систему автодублирования.
ИИ-инструмент анализирует видео и «модифицирует пиксели на экране», чтобы форма губ точно соответствовала переведенной речи. Система учитывает не только форму губ, но и мимику, положение зубов и осанку.
На текущем этапе лучшие результаты достигаются в видео с разрешением Full HD. Эффективность в 4K пока ниже, но разработчики обещают улучшить качество к публичному запуску.
На начальном этапе технология поддерживает синхронизацию губ при переводе на: Английский, Французский, Немецкий, Испанский и Португальский.
В будущем планируется расширение на все языки автодублирования, включая русский, украинский, хинди, японский, корейский и другие. Дата публичного релиза не объявлена.
