Проект GStreamer продолжает планомерное развитие. После выхода версии 1.28, которая принесла множество новшеств, включая новые элементы на Rust и поддержку машинного обучения, разработчики выпустили точечный релиз 1.28.1. Как и положено такому обновлению, его основная цель — стабилизация кода и исправление ошибок, однако без новых функций тоже не обошлось.
Главная новинка: транскрипция речи на базе Whisper
Самое интересное добавление в GStreamer 1.28.1 — новый элемент для преобразования речи в текст, основанный на нейросетевой модели Whisper от OpenAI. Это открывает широкие возможности для создания приложений, требующих автоматического распознавания речи: от субтитров в реальном времени до голосового управления и анализа аудиоконтента. Элемент интегрируется в стандартные конвейеры GStreamer, что позволяет легко комбинировать его с другими элементами для захвата, обработки и вывода аудио.
Улучшения для macOS и iOS
- MoltenVK SDK: В составе GStreamer теперь появился подпроект, предоставляющий LunarG MoltenVK SDK для macOS. Это упрощает разработку и развёртывание приложений, использующих Vulkan на платформе Apple.
- UIView на EAGL и Vulkan: Исправлены проблемы с масштабированием и изменением размера UIView при использовании графических бэкендов EAGL и Vulkan.
- Apple Video Toolbox: Внесены исправления в декодеры и энкодеры, использующие Apple Video Toolbox, а также добавлена поддержка платформы tvOS.
Поддержка Linux и V4L2
- AV1-декодеры V4L2: Код для работы с Video4Linux2 теперь может корректно обрабатывать декодеры формата AV1, работающие в режиме с сохранением состояния (stateful decoders). Это важно для современных аппаратных декодеров на некоторых платформах.
Что дальше?
Релиз 1.28.1, как и ожидалось, не вносит радикальных изменений, но закрепляет успех январского обновления. Пользователи GStreamer (а это буквально тысячи приложений по всему миру, от видеоредакторов до стриминговых сервисов) получат более стабильную платформу. Особый интерес представляет интеграция Whisper — это ещё один шаг к тому, чтобы открытый мультимедийный стек оставался на переднем крае технологий искусственного интеллекта.
Исходный код GStreamer 1.28.1 уже доступен для загрузки на FreeDesktop.org.