В браузере «Яндекса» появилась функция синхронного перевода прямых эфиров. Пока что функция работает только на YouTube и лишь на нескольких каналов, но разработчики трудятся над ее развитием. В планы входит реализация поддержки различных стриминговых платформ. Сервис доступен исключительно в «Яндекс браузере» для настольных ПК.
Иностранные языки можно не учить
Представители «Яндекса» сообщили CNews о запуске нового сервиса синхронного перевода прямых онлайн-трансляций. Он позволяет смотреть прямые эфиры на иностранных каналах и понимать, о чем в них говорится, не зная ни единого слова на оригинальном языке трансляции.
На момент публикации материала новый сервис «Яндекса» работал в режиме бета-тестирования, но, при этом открытого. Это означает, что любой пользователь может испытать его возможности. В этом плане есть лишь одно ограничение – функция работает исключительно в «Яндекс браузере» версии 22.7.2 или новее для Windows и macOS. Сторонние обозреватели, как и мобильная версия браузера «Яндекс», пока не поддерживаются.
На вопрос CNews о сроках завершения бета-тестирования представители «Яндекса» ответили: «Как долго продлится открытое бета-тестирование на этом этапе сложно сказать, это достаточно непредсказуемый процесс. Сейчас наша задача – понять, как технология работает “в бою”».
Нововведение, к слову, может пригодиться уже в начале осени 2022 г. На этот период у Apple запланирована презентация новинок, которая, с высокой долей вероятности, не получит российских субтитров – компания в спешке бежала из России еще в марте 2022 г.
Как всё устроено
В основе нового сервиса «Яндекса» лежит та же нейросеть, которая используется для перевода заранее записанных онлайн-роликов. Как сообщал CNews, эта возможность появилась в браузере «Яндекса» летом 2021 г.
Пример работы сервиса
Для перевода именно прямых трансляций разработчикам пришлось существенно модернизировать свою нейросеть. «В случае с записанными роликами нейросеть получает всю аудиодорожку целиком, а значит, обладает полным контекстом, что облегчает задачу, – сообщили CNews представители «Яндекса». – Работа с переводом прямой трансляции строится совершенно иначе: одна нейросеть распознает аудио и превращает его в текст буквально на лету, другая – определяет пол спикера по биометрии. Но самое сложное – это следующий этап. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты – части, которые содержат законченную мысль. Именно их забирает еще одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
Всё впереди
На момент запуска сервиса «Яндекса» по синхронному переводу веб-трансляций он поддерживал исключительно прямые эфиры на YouTube. Представители «Яндекса» сообщили CNews, что в их планы входит обучение сервиса работе с другими стриминговыми площадками, включая очень популярную среди геймеров Twitch, но не уточнили, когда именно следует ожидать этих нововведений. «Мы планируем запустить перевод стримов и платформе Twitch, но это требует много времени на разработку. Это произойдет не раньше следующего года», – сказали CNews в «Яндексе».
В настоящее время нейросеть «Яндекса» наряду с английским поддерживает еще несколько основных языков мира. Это итальянский, испанский, немецкий и французский. В обозримом будущем появится поддержка еще нескольких европейский языков, плюс разработчики смотрят еще и в сторону Азии – нейросеть будет обучена переводу как минимум с китайского и японского языков. Сроки реализации этих планов представители «Яндекса» CNews раскрыли. «Скоро мы начнем тестировать новые пары языков (азиатские), но пока не можем точно сказать, когда они будут доступны для всех пользователей», – сказали они.
Также следует отметить наличие ограничений на количество поддерживаемых каналов. В настоящее время нельзя подключиться к прямому эфиру начинающего и пока никому неизвестного иностранного стримера и тут же получить синхронный перевод его речи.
Пока что новый сервис «Яндекса» работает с 17 каналами, в основном американскими или английскими. Они разделены на категории «Интервью со звездами», «Технологии», «Бизнес», «Обучение», «Космос, и Gaming News.
Симбиоз сервисов «Яндекса»
Сам по себе новый сервис можно считать новым поколением знакомого многим «Яндекс переводчика». Этот проект существует с 2011 г. 11 лет назад он понимал только русский, украинский и английский языки, теперь же в его «портфолио» свыше 90 языков мира.
В возрасте пяти лет «Переводчик» освоил навык по распознаванию текста на картинках при помощи компьютерного зрения. В апреле 2021 г. «Яндекс» интегрировал эту функцию в собственный браузер.
Сам браузер «Яндекса» совсем скоро отметит свое десятилетие. Его премьера состоялась 1 октября 2012 г. За эти годы он стал вторым по популярности в России – в июле 2022 г. его доля российского рынка составляла 16,28% против 55,9% у Google Chrome (данные StatCounter). Позади него находились Apple Safari (10,43%), Opera (6,99%) и Firefox (4,62%).
Источник: cnews.ru