Найти тему

Нейросеть Sora - превращение текста в видео

Оглавление

Для тех, кто интересуется нейросетями. 15 февраля 2024 года всеми известная компания Open AI представила новую нейросеть SORA.

Что пишет об этом создатель, информация с сайта:

Мы исследуем масштабное обучение генеративных моделей на видеоданных. Конкретно, мы обучаем текстоусловные диффузионные модели совместно на видео и изображениях переменной длительности, разрешения и соотношения сторон. Мы используем архитектуру трансформера, которая работает с пространственно-временными патчами видео и изображений в латентных кодах. Наша крупнейшая модель, Sora, способна генерировать минуту видео высокой точности. Наши результаты свидетельствуют о том, что масштабирование моделей генерации видео является многообещающим путем к созданию универсальных симуляторов физического мира.

Фото девушки - нейросеть Fooocus
Фото девушки - нейросеть Fooocus

Что на данный момент?

В настоящее время эксперты по информационной безопасности, а также художники и дизайнеры, имеют доступ к модели Sora для оценки потенциальных угроз и рисков, а также для сбора обратной связи и улучшения её работы.

OpenAI подчеркивает важность вопросов безопасности и этики при использовании Sora. Разработчики создают инструменты для обнаружения фейкового контента, включая классификатор для идентификации видеороликов, созданных с помощью искусственного интеллекта. Планируется использование метаданных C2PA для повышения прозрачности происхождения контента, если модель будет интегрирована в продукты OpenAI.

С технической точки зрения Sora - это смесь GPT и диффузионной модели, которая генерирует видео. Диффузионная модель начинает с случайного шума и постепенно его устраняет на различных этапах, сохраняя последовательность объектов на изображении, даже если они временно выходят из поля зрения.

Sora способна генерировать как целые видеоролики, так и расширять существующие видео, чтобы сделать их длиннее.

Проект Sora от OpenAI призван продемонстрировать потенциал развития искусственного интеллекта и представить возможности, которые могут появиться в ближайшем будущем. Позже будет опубликован технический отчёт о тестировании нейронной сети.

Смотрим

Видео взято с официального канала Open AI на Youtube

😉 Всем спасибо!

🔴 Если интересна тема, то не пропускайте новые публикации, подписывайтесь на мой канал dzen.ru/ai_irinawriter