Закадровый перевод яндекс как включить

Как включить в Google Chrome закадровый перевод видео из Яндекс.Браузера

Учите английский язык, он вам сильно пригодится в жизни. Так говорят нам с самого детства, но на большинство почему-то эти уговоры не особенно действуют. Правда, жалеть об этом они начинают уже будучи взрослыми, когда понимают, что не могут ни почитать новости на английском, ни тем более изъясниться с иностранцем в аэропорту. Я, конечно, могу и то, и другое. Но после появления функции синхронного перевода видео от Яндекса, которая теперь доступна и в Chrome, я начал задумываться, что где-то меня обманули.

Переводчик из Яндекс.Браузера заработал в Chrome

Наверное, все уже в курсе про синхронный перевод видеороликов на YouTube, который появился в Яндекс.Браузере. Это работает точно так же, как и называется. Специальные алгоритмы в реальном времени переводят то, о чём говорят на видео, причём делают это не в стиле Промта из середины нулевых годов, а вполне качественно. Так сразу даже не поймёшь, что это не профессиональный дубляж, а перевод плюс озвучка здесь и сейчас.

Единственный минус это функции — её ограниченная доступность. Естественно Яндекс, чтобы сделать популярнее свой браузер, не стала открывать доступ к синхронному переводу конкурентам. Но за неё это сделали разработчики-энтузиасты. Они просто взяли и превратили функцию перевода в расширение для Google Chrome, которое включается и переводит аудиодорожку видеоролика в реальном времени абсолютно так же, как это сделал бы сам Яндекс.Браузер.

Как перевести видео на YouTube

расширение Tampermonkey для Google Chrome;

Для синхронного перевода обязательно нужен скрипт

• Перейдите по этой ссылке и скачайте скрипт для перевода;
• Откройте YouTube и запустите любой ролик на английском или испанском;

Включить перевод можно кнопкой в верхней части плеера

• Наведите курсор мыши на верхнюю часть проигрывателя и нажмите на кнопку перевода.

По умолчанию это действие должно активировать синхронный перевод на Ютубе. Но в некоторых случаях кнопки может либо не появиться, либо функция перевода окажется недоступной. В этом случае рекомендуется переустановить и само расширение, и скрипт, который отвечает за перевод. После этого расширение запросит разрешение на доступ ко взаимодействию с сайтом YouTube — соглашайтесь. После этого перевод станет доступен без ограничений.

Честно сказать, первые несколько минут Chrome отказывался переводить для меня видео. Однако после того как я переустановил расширение и дал ему разрешение на доступ к Ютубу, всё заработало в лучшем виде. Теперь браузеру под силу перевести любой видеоролик на английском языке. В принципе, работает ещё и испанский, но испаноязычных видео я не смотрю, а довольствуюсь только английскими.

Перевод видео с английского на русский

Я уже упоминал, что с практической точки зрения расширение ничем не отличается от перевода, который предлагает сам Яндекс.Браузер. Это тот же двухголосый перевод, который накладывается поверх основной аудиодорожки. Есть голос как для озвучивания женщин (их голосом говорит Алиса), так и для мужчин. Это создаёт более приятный эффект, как будто ты слушаешь не — при всём уважении — диктора Лихачёва, а смотришь полноценный ролик, озвученный ещё на стадии записи.

Отключить перевод можно кнопкой пауза

Поскольку на других языках, кроме английского и испанского, Яндекс.Браузер и расширение с функцией синхронного перевода не говорят, не имеет смысла включать им видео на других языках. Например, когда я попробовал запустить шведский ролик с вкраплениями английской речи, расширение не смогло распознать её и даже не предложило кнопки активации синхронного перевода. Так что учитывайте, что всё видео должно быть записано на английском.

Кстати говоря, аналогичное расширение работает и в браузере Firefox. Чтобы воспользоваться им, достаточно проделать те же самые шаги, которые вы проделали при установке его в Chrome. Функционально они ничем не отличаются друг от друга, поэтому с проблемами вы явно не столкнётесь. Разве что по первой расширение будет отказываться переводить, но, как мы уже выяснили, это вполне решаемо.

Перевод видео на русский язык в реальном времени от Яндекса: как включить и пользоваться

Компания Яндекс не боится внедрять новые технологии в свои продукты – только так и можно сохранять их привлекательность и актуальность. И в некоторых аспектах Яндекс может даже предложить своим пользователям то, чего лишены более именитые программы-аналоги. Так, в 2021 году в фирменном Яндекс Браузере с очередным обновлением появилась очень интересная и востребованная функция. Она позволяет автоматически переводить и на русском языке озвучивать видео на различных популярных платформах, например, на том же YouTube.

На каких языках работает автоматический перевод видео в Яндекс Браузере?

Изначально переводить можно было только с английского языка. С тех пор, сервис развивался и теперь он поддерживает уже 5 языков:

• английский;
• немецкий;
• испанский;
• французский;
• китайский.

Об этом полезном функционале Яндекс Браузера знают немногие, а ведь возможность очень удобная. Приложение можно установить хотя бы для того, чтобы пользоваться именно этим переводчиком видео. Озвучка с помощью нейронных сетей хорошо себя показывает при онлайн-просмотре презентаций. Все же субтитры отвлекают, мешая параллельно с прослушиванием выполнять другие задачи.

Изначально функция была применима только к отобранным видео, но сейчас она успешно справляется и с прямыми онлайн трансляциями. Самое интересное, что переводчик отличает пол одного спикера от другого, для этого используются разные мужские и женские синтезированные голоса.

Как работает синхронный перевод видео Яндекса и как лучше пользоваться этой функцией?

Как работает автоперевод видео на русский язык в Яндекс Браузере?

Чтобы реализовать эту функцию, Яндексу пришлось задействовать не только технологии сервиса Переводчик, но еще и синтез речи, биометрию. Для озвучивания видео используются возможности сразу шести нейросетей, а не одной, как могло бы показаться.

Первая нейросеть идентифицирует язык, на котором говорит спикер. Если язык поддерживается, то в браузере появится окошко с предложением осуществить перевод видео на русский.

Вторая нейросеть отвечает за перевод речи в текст. Формируется модель с аудиодорожкой, в которой алгоритмы выявляют и удаляют лишние звуки. Эта же нейросеть вычищает слова-паразиты, делая итоговый результат чище.

Третья нейросеть отвечает за приведение текста к воспринимаемому виду, расставляет требуемые знаки препинания. На входе эта нейросеть получает просто набор переведенных слов. Из них требуется с помощью пунктуации создать грамотные предложения, сохранив при этом изначальный смысл. Нейросеть получает еще и выделенный контекст, чтобы она понимала, о чем вообще в ролике идет речь. Этот вектор помогает расставить слова на нужные места и обеспечить их смысловую связь. Иногда на это требуется дополнительное время. Но в случае стрима небольшая задержка – неизбежный компромисс для обеспечения качества.

Разработчики говорят, что если нет уверенности в том, как надо разбивать речь на предложения в конкретном случае, то можно подождать нового материала, новых слов. Это поможет-таки определиться с разбиением или же превысит ограничения по контексту и заставит нейросеть формировать фразы с определенной, пусть и не со стопроцентной, долей уверенности.

Четвертая нейросеть определяет, сколько человек вообще говорит, какой их пол и какими местоимениями они пользуются. Алгоритм определяет, мужской голос или женский, за счет частоты звучания. У мужчин она составляет 80-150 Гц, а у женщин 150-250 Гц.

Пятая нейросеть уже непосредственно переводит текст на русский язык.

Последняя, шестая нейросеть, отвечает за синтез речи и ее синхронизацию с роликом. Именно она вставляет паузы, когда замолкает спикер, следует его темпу речи, то замедляясь, то ускоряясь.

Как Яндекс автоматически переводит прямые (онлайн) видео трансляции?

Обрабатывать стрим намного сложнее, чем готовый ролик. Ведь это видео нельзя заранее проанализировать и понять, как лучше сделать озвучку. В случае с готовым роликом имеется для обработки готовая аудиодорожка, тогда как со стримом все сложнее. Нейросети вынуждены осуществлять синхронный перевод прямо «на лету» создаваемой дорожки.

Такое отличие заставляет выбирать разные технологии, но в целом языковые модели все равно используются одни и те же. Если Яндекс работает со стримом, то дополнительно задействуется третья нейросеть, которая помогает нормализовать речь. Алгоритмы выявляют начало и конец предложения, выделяют вводные слова, сложносочиненные предложения и так далее.

А после расстановки нейросетью знаков препинания система уже формирует законченные по смыслу предложения и направляет их для перевода.

В результате задержка в ходе прямых трансляций может составлять от 20 до 50 секунд.

Это можно считать хорошим результатом, который позволяет все же не отставать от темпа происходящего.

Приятно удивляет возможность системы работать с разными голосами. Кажется, что это появилось относительно недавно. Ведь изначально перевод предлагал только два голоса: мужской и женский. Теперь же каждый из них получил дополнительные варианты.

Как включить автоперевод видео на русский язык в Яндексе?

Эта функция работает на разных операционных системах: Windows, macOS, Android, iOS, но только в приложениях Яндекс или Яндекс Браузер.

Чтобы запустить перевод, вам надо просто открыть видео на одной из популярных платформ: YouTube, Rutube, Vimeo или им подобных. Запустите воспроизведение, вскоре автоматически появится кнопка перевода ролика. Вам надо просто на нее нажать.

Если ролики мелкие, то процесс перевода займет пару секунд. Если же речь идет о трансляциях, то придется подождать 15-20 секунд в случае с новым стримом. Если же он уже какое-то время идет, то понадобится куда меньше – та же пара секунд.

Польза от функции автоматического перевода видео на русский язык в Яндекс.Браузере

Не секрет, что многие иностранные видео на русском языке посмотреть не получится. Немногие блогеры могут позволить себе дубляж. А вот автоперевод в Яндекс Браузере без проблем решает эту проблему. Всего пара кликов – и вы уже смотрите видео на русском языке, не отвлекаясь даже на субтитры. Вниманию ничто не мешает, а озвучка достаточно качественная, чтобы передавать суть.

Можно лишь посетовать на отсутствие у озвучки живых ноток. Хочется слышать больше интонаций, соотносящихся с речью спикера. Пока же упор сделан на качество перевода, а не на естественность речи. Да и не со всеми стримами функция работает так, как от нее ожидаешь. Но в скором времени Яндекс наверняка это исправит, ведь проект постоянно развивается.

Яндекс запустил автоматический перевод видео с английского

Используя Яндекс.Браузер на компьютерах или мобильных устройствах, можно англоязычный ролик в автоматическом режиме перевести на русский. Чтобы это сделать, необходимо открыть видео на английском языке в браузере и нажать на кнопку «Включить», появляющуюся над окном с роликом. После этого нужно подождать пару минут, пока Яндекс занимается переводом и создает новую аудиодорожку.

Итоговый результат звучит как закадровый двухголосый перевод. Громкость основной аудиодорожки приглушается, а сгенерированный Яндексом перевод выходит на первый план. Есть и женские голоса, и мужские (женский позаимствовали у Алисы).

Автоперевод видеозаписей в Яндексе. Изображение: yandex.ru

Для перевода и озвучки искусственный интеллект Яндекса обычно использует субтитры, но если их нет, то система сначала берется за распознание речи и превращает получившийся контент в текст. По сути, создаются свои субтитры, и они уже потом озвучиваются. Если верить комментариям под оригинальным постом, то в Яндексе рассмотрят вариант создания субтитров для видео на русском языке без закадровой озвучки (наподобие тех, что автоматически генерируются в YouTube).

Уже сейчас автопереводом можно воспользоваться практически на всех популярных площадках в духе YouTube или Vimeo. Видео лишь должно быть доступно для просмотра всем желающим, включая нейросети Яндекса, которые занимаются переводом.

На разработку технологии в текущем виде у Яндекса ушел год. В будущем компания планирует добавить больше языков и больше голосов.

Яндекс Браузер круто переводит видео. Как перенести его функцию в Chrome, Edge, Firefox, Safari

Все браузеры очень похожи друг на друга (особенно те, что работают на одном и том же движке). Однако веб-обозреватель Яндекса сильно выделяется на фоне всех других преимущественно функцией закадрового перевода видео — браузер переозвучивает оригинальную аудиодорожку в ролике, но на русском языке, и воспроизводит её поверх исходного видео. Благо этой опцией можно воспользоваться и в других веб-обозревателях благодаря специальному скрипту, размещённому на GitHub. В этой статье рассматриваем, как его установить, что это вообще такое и какие есть ограничения.

Содержание

Как установить закадровый перевод видео Яндекса

Поддерживаются практически любые программы: не только Chrome, Edge и прочие на движке Chromium, но и Firefox с Safari.

1. Установите расширение Tampermonkey (для Safari оно платное, можно заменить утилитой UserScripts) — это менеджер скриптов, который позволит запускать нужный алгоритм для закадрового перевода видео.
2. Загрузите специальный скрипт — по нажатию кнопки «Установить» вкладка закроется. В том случае, если он пропадёт, в конце статьи прикреплён файл скрипта для ручной установки.

Теперь при открытии видео на YouTube поверх иконки расширения Tampermonkey будет появляться красный кружок-индикатор, а над видеоплеером будет виджет, предлагающий выполнить закадровый перевод.

Если развернуть расширенные настройки, получится включить автоматический перевод роликов и отрегулировать громкость переведённой озвучки.

Кратко: как работает закадровый перевод Яндекса

До тестирования этой технологии может показаться, что она простая в исполнении и плохо работает: перевод голоса давно есть в том же Google Translate, а его машинная речь оставляет желать лучшего. Но на практике всё совсем наоборот — это комбинация очень сложных алгоритмов, и на выходе получается действительно отличный результат.

Закадровый перевод и озвучка осуществляются в несколько этапов:

Распознавание и переработка речи
На этом этапе алгоритмы стараются обработать речь — в ролике может быть не один говорящий, и если просто преобразовать все услышанные слова в текст, а затем перевести его, то получится каша. Нейросеть пытается сгруппировать слова в смысловые сегменты, расставить знаки препинания (это очень важно даже в видео с одним ведущим) и вычистить мусор.

Если в видео есть вручную добавленные субтитры, то нейросеть использует их, а не оригинальную аудиодорожку.

Хотя некоторые из этих этапов происходят параллельно, вся технология целиком очень сложная и ресурсоёмкая — из-за этого нужно время, прежде чем закадровый перевод будет готов.

Какие ограничения по сравнению с Яндекс.Браузером

Хотя скрипт из этой статьи задействует технологию Яндекса, неофициальный закадровый перевод в других браузерах работает несколько хуже из-за определённых ограничений.

• Популярные видео не переводятся мгновенно
  В Яндекс.Браузере закадровая озвучка популярных видео с большим количеством просмотров происходит моментально (видимо, компания хранит готовую озвучку этих роликов на своих серверах, а не делает её каждый раз заново). При использовании скрипта даже популярные ролики проходят все этапы закадрового перевода, поэтому приходится ждать — около 1 минуты за каждые 10 минут видео.

Несмотря на все ограничения, скрипт выполняет свою функцию — переозвучивает ролики на русском языке, и делает это очень хорошо. Как и технология в Яндекс.Браузере, он поддерживает не только перевод с английского, но и с немецкого, французского и испанского языков.