Полным ходом идёт 2023 год и ИИ (искусственный интеллект – прим. ред.) витает в воздухе, однако если вы не следили за этими технологиями пристально, то можете быть не в курсе того, что сейчас происходит, и как это происходящее меняет кинопроизводство.
Ещё недавно фильмы, созданные ИИ были в буквальном смысле шуткой (мы писали о самом известном таком фильме под названием Sunspring). Сейчас же ИИ-инструменты обещают придать программному обеспечению мощности, сравнимые с целой командой видеопродакшна, если пользователь знает, как задать подходящий запрос для систем машинного обучения и больших языковых моделей. ИИ достигает невиданных прежде инновационных результатов в области творческих инструментов. Каждая неделя приносит волну новых ИИ-инструментов и вместе с ними, новые прогнозы на тему того, как это отразится на индустрии.
Пионерским форматом для применения этих технологий стал короткий метр, вот, к примеру, список избранных сгенерированных искусственным интеллектом фильмов с сайта Shortverse: www.shortverse.com/collections/ai-short-films
Предупреждаем, эффект «зловещей долины» гарантирован!
Куда киноиндустрия уже добралась в связке с ИИ, какие инструменты есть сегодня и какие ожидаются в скором времени, а также три уровня, на которых работают такие системы – обо всём кратко в этой статье, и даже обещаем ссылки на эти чудеса науки!
1. ИИ «автоматизирующий»
На своём самом простом уровне, ИИ способен к автоматизации рутинных задач. Большинство из нас сталкиваясь с ними, с удовольствием бы передало их кому-нибудь другому, тут и приходит на помощь «бог из машины»: создание масок, замена фонов, стабилизация, генерация текстур, увеличение разрешения, смягчение эффектов slow-motion («замедления») и так далее – теперь всё это можно делегировать ИИ-инструментам, и так умевшим это в последнее время, но без остановки наращивающим способности.
Обработка изображений:
Runway ML (runwayml.com) – удаление фонов, стирание объектов в кадрах, превращение статичных изображений в видео и другие утомительные задачи, забиравшие огромное количество времени. Яркий пример – к созданию оскароносного «Всё везде и сразу» приложила руку разношёрстная команда по визуальным эффектам, она справились с задачами замены хромакеев и фонов в условиях весьма ограниченного бюджета именно благодаря Runway.
Dall-e (openai.com/product/dall-e-2) – с инструментом знакомы уже очень и очень многие, это генератор изображений от OpenAI. Удалить строку или телефонный провод на перегруженном кадре? Заменить цвет какого-нибудь конкретного предмета гардероба? Не говоря уже о базовых функциях по редактуре, таких как увеличение изображения и дорисовка сцены, чтобы «раздвинуть» края – кроме генерации, как вы заметили, в арсенале Dall-e есть много других интересных инструментов.
Аудио
Enhance Speech (Adobe) (podcast.adobe.com/enhance) – автоматически делает из «грязной» и «шумящей» записи речи дорожку, как будто записанную на профессиональной студии.
Субтитры
Whisper (huggingface.co/spaces/BatuhanYilmaz/Whisper-Auto-Subtitled-Video-Generator) – решает сложные «уравнения», где субтитры нужно создать из невнятной речи или речи с акцентом, выдавая очень точные субтитры (можно с переводом).
2. ИИ «коллабящий»
Второй уровень взаимодействия, это когда кремниевый интеллект помогает генерировать идеи или исследовать направления, которые вы прежде не рассматривали. В сфере кино речь на данный момент идёт, например, о генерации идей для сценариев, имён персонажей, концепт-артов, постеров, дизайна существ и костюмов, и даже раскадровок. ИИ здесь выступает как ассистент или, если угодно, партнёр по творчеству, помогающий продвигаться дальше и принимать творческие решения, но не создающий законченную работу.
Текст
ChatGPT (chat.openai.com) – также являющий разработкой OpenAI и нашумевший ещё больше, революционный чатбот, способный понимать как простые текстовые запросы пользователя, так и переписываться с человеком, выдавая сложнейшие результаты, вплоть до фрагментов рабочего программного кода. Он-то как раз и поможет вам со сценарием к фильму.
Sudowrite (sudowrite.com) – похож на предыдущий бот, но при всей схожести, выходит за рамки чат-формата и настроен на креативное написание и поможет создать черновик, расширить сцену, набросать имена или составить историю персонажей.
Изображения
Midjourney (midjourney.com), Stable Diffusion (stablediffusionweb.com), Dall-E, Adobe Firefly (adobe.com/sensei/generative-ai/firefly.html) – генераторы изображений, превращающие текстовые запросы в картинки. Всего год назад они могли хорошо создавать только абстрактные объекты, сейчас уже отрисовывают людей и локации, за последнее время своей эволюции они практически стёрли границу определения, что создано нейросетью, а что нет.
Цветокоррекция
Colourlab.ai (colourlab.ai) – Автоматизирует рутинные задачи цветокоррекции, достаточно всего одного изображения-референса либо же облегчает манипуляции с таблицами цветового соответствия.
3. ИИ «продюсирующий»
На третьем уровне ИИ уже способен создать готовую работу. Причём скормить ему можно всего лишь сырой набросок сценария или даже просто саму идею, и вы получите финишный результат. Мы приближаемся к тому будущему, где сценарист сможет загрузить сценарий, а в ответ машина выдаст ему постер, концепт-арт и даже трейлер, представляющий его проект. Фильмоделы практически с нуля смогут генерировать скрипт, актёров, кадры, причём скольких угодно вариантах.
Пока что инструменты этого ранга находятся в стадии разработки или раннего доступа, однако с учётом того, как вся сфера ИИ развивается, скоро мы и здесь увидим и готовые продукты.
Стилизация
Runway (Gen1) – выпущенная 28 марта версия программы открыла доступ к функции, которая может взять видеозапись и применить к ней любой стиль из выбранного референса.
От текста к видео
Здесь вы вводите текстовый запрос (предложение или параграф), а на выходе получаете видеоклип, сгенерированный искусственным интеллектом пиксель за пикселем, кадр за кадром. Звучит безумно, но факт. Да, пока что сыровато, но и Midjourney был далеко не идеален всего два года назад. Примером такого ПО является разрабатываемый Runway (Gen2) (research.runwayml.com/gen2).
Голос и диалоги
Eleven Labs (beta.elevenlabs.io) – создаёт реалистичные голосовые дорожки из текста.
Flawless (flawlessai.com) – заменяет плохие диалоги, генерирует альтернативные версии диалогов из вашего фильма на других языках или для других возрастных рейтингов, при этом изменения не просто «вброшены», а интегрированы в видеоряд, то есть актёры буквально синхронно проговаривают изменившийся текст (взрывает мозг, не так ли?).
Цифровая графика и звуковые эффекты
Wonder Dynamics (wonderdynamics.com) – добавляет CG-персонажей (CG – компьютерная графика, прим. ред.) в живые сцены. Для понимания – ранее это занимало дни кропотливой и высококвалифицированной работы.
Luma Labs (lumalabs.ai) – технология, позволяющая использовать статичные изображения для получения 3D-пространств с правильным освещением.
В общем, если вы по какой-то причине пропустили новости об инструментах с искусственным интеллектом, то сейчас самое время самим окунуться в этот дивный новый мир диковинных возможностей.
#ии #нейросети #искусственныйинтеллект #кино #кинопроизводство
