Во «ВКонтакте» появились автоматические субтитры
Команда социальной сети «ВКонтакте» объявила о запуске новой удобной функции для пользователей — в видеоплеере появились автоматические субтитры на русском языке.
Функция реализована на основе собственных технологий соцсети по распознаванию речи, алгоритмов машинного обучения единой видеоплатформы «VK Видео» и технологий интеллектуального шумоподавления единой платформы видеозвонков.
Система автоматически генерирует текст, расставляет знаки препинания и заглавные буквы, распределяет текст по кадрам. Как сообщают разработчики, точные субтитры появляются прямо в момент произнесения фразы.
Представители «ВКонтакте» поясняют:
В отличие от существующих решений на рынке, технология "ВКонтакте" умеет проставлять в субтитрах знаки препинания и заглавные буквы, а в ближайшем будущем научится разделять речь спикеров на разные реплики. Всё это значительно повышает понятность расшифровки и упрощает чтение во время просмотра видео.
Технология субтитров сейчас дорабатывается. В экспериментальном режиме субтитры доступны части аудитории в популярных роликах и видео из верифицированных сообществ в веб-версии и мобильном приложении «ВКонтакте».
Как отключить титры вконтакте
ВКонтакте запустила в видео автоматические субтитры на базе собственных технологий распознавания речи
Команда ВКонтакте рассказала, что после обновления в видеоплеере социальной сети появилась возможность включить субтитры на русском языке, которые генерируются автоматически при помощи собственных технологий компании. В частности, речь идет о распознавании речи, алгоритмах машинного обучения и шумоподавлении.
Особенностью функции является наличие знаков препинания и заглавных букв в тексте субтитров. В перспективе технология будет разносить слова говорящих на разные реплики.
Ограниченное число пользователей уже сейчас может воспользоваться новой функции при просмотре некоторых видео из верифицированных пабликов. Демонстрация субтитров запущена в тестовом режиме. Компания поясняет, что данная функция будет полезна для людей с проблемами слуха, а также тем, кто не может посмотреть видеоролик со звуком.
Расшифровка субтитров проходит в четыре этапа. Первоначально при помощи технологии интеллектуального шумоподавления звуковая дорожка видео очищается от фоновых шумов, причем даже в любительских роликах. Затем нейросеть преобразовывает слова в текст. После этого пунктуационная модель проставляет в тексте знаки препинания и прописные буквы. На последнем этапе технология машинного обучения распределяет текст по кадрам.
За счет высокой производительности субтитры к новым видео будут генерироваться максимально быстро, сказано в пресс-релизе ВКонтакте. С помощью технологии диаризации реплики разных спикеров в стенограмме будут разделены, даже если между фразами нет заметных пауз.
До конца года функция добавления автоматических субтитров будет доступна в большинстве видео.
Автогенерация субтитров в соцсети работает на базе собственных разработок ВКонтакте, говорит технический директор компании Александр Тоболь. Он рассказал, что для новой функции была усовершенствована технология распознавания речи. В будущем команда социальной сети будет развивать нейросети и интегрирует машинное обучения в остальных сервисах ВКонтакте.
Летом 2020 года компания запустила функцию распознавания голосовых сообщений длительностью до 30 секунд. С весны 2021 года у пользователей появилась расшифровать уже 60 минутные аудиосообщения.
В начале месяца ВКонтакте удалось добиться ускорения старта видео в 1,5 раза при помощи расширения геораспределенной сети доставки контента и разработке собственного решения для маршрутизации. Команда компании снизила число буферизаций и повысила качество потоковых видео на 20 %.
Ранее ВКонтакте заявила, что начала применять в своей инфраструктуре собственную разработку технологии передачи данных на основе протокола QUIC. Данное решение сокращает время передачи контента в 1,5-2 раза без потери качества.
Как убрать субтитры в Ютубе? Отключаем субтитры на телефоне, ПК, планшете
Как выключить уведомления в Instagram на IOS/Android, подробная инструкция. Настройки уведомления, включение и выключение оповещений.
Блокировка YouTube-каналов. Как фильтровать канал на Ютубе, инструкция для телефона, ПК, планшета. Заблокируйте все ненужные каналы.
Что такое видеостоки, какие бывают лицензии и где можно ПЛАТНО/БЕСПЛАТНО скачать видео. Лучшие 30 видео-стоков, как на них заработать
Во «ВКонтакте» появились автоматические субтитры
Команда социальной сети «ВКонтакте» объявила о запуске новой удобной функции для пользователей — в видеоплеере появились автоматические субтитры на русском языке.
Функция реализована на основе собственных технологий соцсети по распознаванию речи, алгоритмов машинного обучения единой видеоплатформы «VK Видео» и технологий интеллектуального шумоподавления единой платформы видеозвонков.
Система автоматически генерирует текст, расставляет знаки препинания и заглавные буквы, распределяет текст по кадрам. Как сообщают разработчики, точные субтитры появляются прямо в момент произнесения фразы.
Представители «ВКонтакте» поясняют:
В отличие от существующих решений на рынке, технология "ВКонтакте" умеет проставлять в субтитрах знаки препинания и заглавные буквы, а в ближайшем будущем научится разделять речь спикеров на разные реплики. Всё это значительно повышает понятность расшифровки и упрощает чтение во время просмотра видео.
Технология субтитров сейчас дорабатывается. В экспериментальном режиме субтитры доступны части аудитории в популярных роликах и видео из верифицированных сообществ в веб-версии и мобильном приложении «ВКонтакте».
Как отключить субтитры в вк
Команда социальной сети «ВКонтакте» объявила о запуске новой функции для пользователей. Так, в обновлённой версии видеоплеера появились автоматические субтитры на русском языке. Данная функция создана на базе собственных технологий соцсети по распознаванию речи, алгоритмов машинного обучения видеоплатформы и технологий интеллектуального шумоподавления единой платформы видеозвонков.
реклама
Технология проставления автоматических субтитров настолько «прокачана», что может не только выдавать текст, но и проставлять в нём знаки препинания и заглавные буквы, распределять текст по кадрам и обеспечивать точность появления субтитра в момент произнесения фразы. Разработчики также обещают добавить в технологию разделение речи спикеров на разные реплики — то есть, зрителю проще будет определить, кто из собеседников на экране какую фразу произнёс.
В данный момент соцсеть ведёт тестирование и «дообучение» новой технологии, поэтому субтитры в тестовом режиме доступны только части аудитории в популярных роликах и видеоматериалах из верифицированных сообществ в веб-версии и мобильном приложении «ВКонтакте».
Как отключить титры вконтакте
Автоматический перевод с английского, субтитры и другие октябрьские обновления «ВКонтакте»
В фирменный видеоплеер «ВКонтакте» добавила субтитры. Но не совсем обычные. Они автоматические — используются собственная технология для распознаванию речи, алгоритмы машинного обучения и технологии интеллектуального шумоподавления.
Как заявляют в компании, процесс создания автоматических субтитров происходит в четыре этапа. На первом технология интеллектуального шумоподавления очищает ролик от фоновых шумов, потом нейросеть распознает слова и формирует из них текст. Следующим шагом является расстановка знаков препинания и заглавных букв. А в финале машинное обучение помогает разбить текст в соответствии с кадрами, чтобы субтитры совпадали с речью человека в кадре или за кадром.
В дальнейшем будет внедрена еще и диаризация. То есть аудиопоток будет автоматически делиться на реплики разных спикеров. В расшифровке фразы разных участников будут представляться в виде отдельных реплик даже в том случае, когда в диалоге людей практически незаметны паузы.
Автоматические субтитры появились в пилотном режиме только в популярных видео верифицированных сообществ в веб-версии и мобильном приложении «ВКонтакте», но до конца 2021 года разработчики обещают распространить новую функцию и на другие популярные на платформе видео.
Ликвидация языкового барьера: перевод с английского
Следующей стадией «автоматизации» социальной сети стал автоматический перевод публикаций с русского языка на английский. Нейросеть обучалась с помощью открытых данных и способна адаптировать перевод под специфику общения пользователей в разных сообществах. При этом адекватному автоматическому переводу поддаются и разговорные фразы, и сленг, и художественные тексты, и официальные, а также деловые публикации.
Пока автоматический перевод с русского на английский языки доступен только в десктопной версии «ВКонтакте», и лишь в крупных пабликах соцсети. Но скоро функционал расширят на все сообщества. Более того, в будущем автоматический перевод заработает не только в пабликах, но и в личных переписках, комментариях и так далее.
Изменчивое меню
Из просто приятных обновлений — адаптивное мобильное приложение «ВКонтакте», которое учитывает предпочтения конкретного пользователя и на основе этих данных меняет интерфейс. Эта функция работает благодаря все тому же машинному обучению, которое задействовано и в работе с автоматическими субтитрами. ИИ анализирует интересы человека и его активность в разных сервисах соцсети, а затем использует эту информацию для корректировки меню приложения.
Например, в нижнем меню «ВКонтакте» у тех, кто часто смотрит клипы и фильмы, система разместит вкладку «Видео». Любителям музыки приложение обеспечит быстрый доступ к «Музыке», любители общаться получат вкладки с мессенджером, либо меню «Друзья» или «Сообщества». Аналогично изменится вкладка «Сервисы», где система будет предлагать подходящие конкретному человеку мини-приложения платформы VK Mini Apps. В боковом меню приложения, которое можно будет открывать из любой вкладки через клик по аватарке пользователя, появится быстрый доступ к управлению аккаунтом VK ID и другим настройкам. Там же разместят быстрый переход к глобальному поиску по «ВКонтакте».
Когда ждать
Внедрение изменений в мобильном приложении будет происходить постепенно. В версии 7.0 сразу же будет большая их часть. «Обновление появится у всех в ближайшие дни», – пообещали в компании.
Во «ВКонтакте» появились автоматические субтитры
Команда социальной сети «ВКонтакте» объявила о запуске новой удобной функции для пользователей — в видеоплеере появились автоматические субтитры на русском языке.
Функция реализована на основе собственных технологий соцсети по распознаванию речи, алгоритмов машинного обучения единой видеоплатформы «VK Видео» и технологий интеллектуального шумоподавления единой платформы видеозвонков.
Система автоматически генерирует текст, расставляет знаки препинания и заглавные буквы, распределяет текст по кадрам. Как сообщают разработчики, точные субтитры появляются прямо в момент произнесения фразы.
Представители «ВКонтакте» поясняют:
В отличие от существующих решений на рынке, технология "ВКонтакте" умеет проставлять в субтитрах знаки препинания и заглавные буквы, а в ближайшем будущем научится разделять речь спикеров на разные реплики. Всё это значительно повышает понятность расшифровки и упрощает чтение во время просмотра видео.
Технология субтитров сейчас дорабатывается. В экспериментальном режиме субтитры доступны части аудитории в популярных роликах и видео из верифицированных сообществ в веб-версии и мобильном приложении «ВКонтакте».
Семь видов разрешения, автоматические субтитры и монетизация: как поменялось VK Видео в 2021 году
В 2021 году VK сменила название и продолжила строить экосистему вокруг «ВКонтакте» и других проектов. Сама социальная сеть одной из первых в мире внедрила протокол QUIC, а «VK Звонки» первыми сняли все ограничения на количество участников: в звонке может участвовать сколько угодно людей — и все с включёнными камерами.
Одним из первых направлений по количеству нововведений стали видеотехнологии. Платформу «VK Видео» запустили на фоне роста интереса пользователей и сообществ к видеоконтенту. В ней объединили ролики из «ВКонтакте», «Одноклассников», «Клипов» и других продуктов VK, чтобы пользователи могли активнее смотреть всё в одном месте.
Рассказываем о самых значимых новшествах сервиса.
Первым серьёзным обновлением видеосервиса стал новый плеер, который перезапустили впервые за три года. В нём появилась поддержка 4K-разрешения: раньше смотреть видео можно было в максимальном разрешении 1080p, а теперь выбрать можно из семи вариантов — от 144p до 2160p.
Причиной изменений стал рост потребления видеоконтента, который заметили в VK: выручка от него за год выросла в пять раз. Просмотр видео решили переосмыслить: на iOS и Android видео теперь можно смотреть в фоновом режиме «картинка в картинке», а изображение можно транслировать на «умные» телевизоры с поддержкой AirPlay или Chromecast.
Максимальный объём загружаемых файлов увеличили в 128 раз с 2 до 256 Гб — это почти шесть часов видео в разрешении 4K в кодеке H.264. Теперь профессиональные авторы смогут делиться контентом с минимальной потерей качества; раньше возможности площадки были ограничены.
Платформа начала поддерживать трансляции с «неограниченным количеством зрителей». Для этого использовали особые технологии адаптивного видеостриминга с масштабируемой архитектурой. То есть сервис сам подстраивается под условия просмотра в зависимости от устройства и стабильности сети пользователя, чтобы передавать данные с минимумом задержек, зависаний и скачков качества.
Для этого «VK Видео» обрабатывает исходящий поток: использует аппаратные возможности устройства, кодирует видео на серверах, раздаёт через сети доставки контента (CDN). Соцсеть также работает с доставкой контента зрителю: подбирает подходящий кодек, подстраивает разрешение под сеть и выбирает, на что сделать приоритет.
Система пытается балансировать между тремя элементами — скоростью, качеством и затратой ресурсов. Чаще всего добиться всего сразу нельзя, поэтому она назначает приоритет чему-то одному, оптимизируя другие настройки. Например, спортивным трансляциям важна минимальная задержка, поэтому система в первую очередь обеспечивает именно это.
Сразу после ребрендинга VK запустили единую видеоплатформу, в которой собрали видеотехнологии и контент компании из двух крупнейших соцсетей и всех других продуктов.
В первый же день после обновления платформа «VK Видео» заявила о ежемесячной аудитории в 40 млн человек за счёт объединения нескольких видеосервисов. Разработчикам не нужно будет разрабатывать несколько разных продуктов, а значит, пользователи будут чаще и быстрее получать заметные улучшения нового видеосервиса.
Вместе с единым видеоплеером «VK Видео» запустила в социальной сети «ВКонтакте» новую «видеовитрину» — с системой рекомендаций на основе машинного обучения. Модель с помощью нейросетей различает более 1000 параметров видео, от людей и объектов до эмоций героев в роликах и их жанров, — и с опорой на это выдаёт рекомендации. Фанатам космоса соцсеть предложит ролики об МКС и Илоне Маске, поклонникам кино — трейлеры, а геймерам — записи геймплея видеоигр.
Теперь «Витрина» — это не просто каталог роликов, а страница с персональной подборкой контента. VK начала активнее сотрудничать с правообладателями и расширила библиотеку кино, сериалов, телешоу и не только: например, во вкладке «Фильмы» можно выбирать из нескольких сотен вышедших картин вроде «1+1» или «Голодных игр», в «Шоу» есть проекты с Беаром Гриллзом и Гордоном Рамси, а в «Спорте» — вырезки из матчей КХЛ.
Создавая VK Видео, мы собрали воедино весь многолетний опыт команды по работе со стримингом, live-трансляциям, low-latency обработкой видео и реализовали новые передовые технологии в рамках единой видеоплатформы. Это в том числе позволило усовершенствовать и внедрить новые решения для доставки контента: перейти на современный протокол QUIC, расширить CDN, использовать более эффективные способы кодирования видео и увеличить лимит на загрузку видеофайлов до 256 гигабайт, а качество поднять до 4К. Благодаря чему предоставить нашим пользователям консистентный опыт независимо от устройства, его мощности или стабильности сети.
СТО ВКонтакте, VK Видео и VK Звонков
Поиск по видео тоже обновили: улучшили с помощью технологий машинного обучения и открыли для всех пользователей интернета. Результаты поиска зависят от активности зрителя и его запроса: чтобы найти подходящий ролик достаточно указать тематику и качество видео. Весь видеоконтент можно посмотреть в соцсети бесплатно, а «Витрина» доступна даже без регистрации.
Просто автоматическими субтитрами уже никого не удивить. Платформа «VK Видео» решила пойти дальше и создать технологию, которая не только генерирует текст, но и маркирует начало и конец предложения (расставляет заглавные буквы и знаки препинания). А сам текст синхронизируется с аудио: субтитры появляются ровно в момент «говорения».
Такие субтитры позволяют смотреть ролики в любых условиях, даже когда нет возможности включить звук. Они также помогают учить русский язык иноязычным пользователям и открывают доступ к просмотру контента для людей с нарушениями слуха.
Звук проходит через четыре этапа, прежде чем превращается в расшифровку. Сначала запись очищают от фоновых звуков, затем нейросеть распознаёт слова и формирует текст, после этого расставляет знаки препинания и заглавные буквы. «ВКонтакте» уже давно развивает распознавание голоса — заметив, как эффективно технология работает с голосовыми сообщениями, разработчики решили использовать её и для автоматических субтитров.
Пока субтитры работают еще не во всех роликах, но в будущем запустятся для всего контента в библиотеке, а VK планирует дообучить технологию, чтобы она разделяла речь разных спикеров на отдельные реплики.
Во «ВКонтакте» появились субтитры для видео
«ВКонтакте» запустили автоматические субтитры для видео на русском языке. Об этом сообщается в пресс-релизе компании.
Технология автоматически генерирует текст, расставляет знаки препинания и заглавные буквы, распределяет текст по кадрам и обеспечивает точность появления субтитра в момент произнесения фразы. Соцсеть ведет тестирование и обучение новой технологии: субтитры в экспериментальном режиме уже доступны части аудитории в популярных роликах и видео из верифицированных сообществ в веб-версии и мобильном приложении.