✔В Яндекс Браузере появился голосовой перевод прямых трансляций - «Новости мира Интернет»

Яндекс добавил в свой браузер технологию голосового перевода прямых трансляций на YouTube. Пока она находится на стадии бета-тестирования и работает на ограниченном количестве каналов. Доступны английский, испанский, немецкий, французский и итальянский языки.

Технология автоматического закадрового перевода потоковых видео сложна тем, что необходимо учитывать контекст и то, что в разных ситуациях одно слово имеет и разные значения. В роли переводчика выступает нейросеть, которая начинает переводить предложения в трансляции до того, как их закончили. Тестирование новой функции доступно любому пользователю Яндекс Браузера на компьютере.

Как пишет SEONews, чтобы автоматический закадровый перевод работал как надо, потребовалось перестроить полностью архитектуру технологии. Те ролики, что записаны, нейросеть переводит сразу за счет того, что получает аудиодорожку целиком, при этом обладает полным контекстом.

В случае с переводом прямых трансляций алгоритм работы строится по иному принципу. Первая нейросеть обеспечивает распознавание аудио и его превращение в текст. Вторая – распознает пол спикера по биометрическим параметрам. Третья расставляет знаки препинания, выделяет смысловые фрагменты из текста и формирует законченную мысль. Еще одна, четвертая, синтезирует перевод на русском языке.