В октябре 2021 года VK запустил автоматические субтитры в видео на базе собственных технологий распознавания речи. Эта технология автоматически генерирует текст, расставляет знаки препинания и заглавные буквы, распределяет текст по кадрам и обеспечивает точность появления субтитра в момент произнесения фразы. В отличие от существующих решений на рынке, технология ВКонтакте умеет проставлять в субтитрах знаки препинания и заглавные буквы, а в ближайшем будущем научится разделять речь спикеров на разные реплики. Всё это значительно повышает понятность расшифровки и упрощает чтение во время просмотра видео. Пресс-служба Вконтакте. Здорово, что эта функция появляется автоматически и больше не нужно накладывать субтитры в сторонних приложениях. Досмотренность видео тоже должна возрасти, т.к. смотреть видео с субтитрами стало намного проще. Давайте разберемся как это работает: Для обеспечения высокого качества расшифровки субтитров аудиопоток проходит четыре этапа обработки. Но не все так
В октябре 2021 года VK запустил автоматические субтитры в видео на базе собственных технологий распознавания речи.
Эта технология автоматически генерирует текст, расставляет знаки препинания и заглавные буквы, распределяет текст по кадрам и обеспечивает точность появления субтитра в момент произнесения фразы. В отличие от существующих решений на рынке, технология ВКонтакте умеет проставлять в субтитрах знаки препинания и заглавные буквы, а в ближайшем будущем научится разделять речь спикеров на разные реплики. Всё это значительно повышает понятность расшифровки и упрощает чтение во время просмотра видео.
Пресс-служба Вконтакте.
Здорово, что эта функция появляется автоматически и больше не нужно накладывать субтитры в сторонних приложениях. Досмотренность видео тоже должна возрасти, т.к. смотреть видео с субтитрами стало намного проще.
Давайте разберемся как это работает:
Для обеспечения высокого качества расшифровки субтитров аудиопоток проходит четыре этапа обработки.
- Сначала запись очищается от фоновых звуков с помощью уникальной технологии интеллектуального шумоподавления.
- Затем нейросеть распознаёт слова и формирует из них текст.
- На третьем этапе подключается пунктуационная модель: она расставляет знаки препинания и заглавные буквы. Методы машинного обучения распределяют текст по кадрам, чтобы фраза появлялась точно в момент, когда говорящий её произносит.
- Технология создания автоматических субтитров дополнилась диаризацией — это процесс, в котором аудиопоток делится на реплики в соответствии с конкретным спикером. Благодаря диаризации, фразы разных людей в расшифровке будут самостоятельными, даже если собеседники общаются без заметных пауз.
Но не все так безоблачно и идеально:
1. Субтитры не работают в клипах.
2. Не смотря на то, что читать субтитры намного удобнее, когда расставлены знаки препинания, к сожалению нейросеть не всегда справляется со своей задачей и совершает ошибки.
У вас работают субтитры на видео в Вконтакте? Удобнее стало смотреть видео?