520 подписчиков

Великий обман: как нейросеть оживляет умерших, меняет мимику и дубляж в кино?

5,4K прочитали
Нейросети пишут сценарии и омолаживают актёров. Просчитывают сметы фильмов и возрастной рейтинг. Реставрируют старые кадры и даже оживляют умерших артистов.

Нейросети пишут сценарии и омолаживают актёров. Просчитывают сметы фильмов и возрастной рейтинг. Реставрируют старые кадры и даже оживляют умерших артистов. The Mag выяснил, как продюсеры и режиссёры используют ИИ в кино и может ли он заменить человека в этой индустрии.

Что делать, если актёр заматерился

В августе 2022 года американская студия Lionsgate выпустила на большие экраны фильм «Вышка» — камерный триллер о двух альпинистках, застрявших на верхушке высоченной телерадиомачты, без связи и возможности спуститься вниз. Написал сценарий и поставил фильм британский режиссёр Скотт Манн, который отказался работать в павильонах с цифровыми задниками и велел построить декорации в горах калифорнийской пустыни Мохаве.

Несмотря на ливни, шквальный ветер и нашествия красных огненных муравьёв, съёмки благополучно подошли к концу. Но не тут-то было. Студийные начальники высчитали, что главные героини в «Вышке» матерятся 36 раз (всё это были актёрские импровизации). А значит, фильму грозил возрастной рейтинг R, согласно которому лицам до 17 лет обязательно сопровождение взрослого.

Lionsgate заказала режиссёру пересъёмку, но тот обратился к техкомпании Flawless и за две недели решил проблему с помощью искусственного интеллекта. Специально разработанный софт модифицировал лица актрис так, что их мимика соответствовала переозвученным и цензурированным диалогам. На пресс-конференции, которая прошла через несколько недель после релиза «Вышки», Манн показал оба фрагмента (изначально отснятый, с матом, и отредактированный) — отличить оригинал от копии никто не смог.

Компания Flawless, называющая себя Hollywood 2.0, меняет мимику актёров в фильмах, чтобы «подогнать» её под иностранную или просто переделанную озвучку. Причём не только в новом кино, но и в старом.
Компания Flawless, называющая себя Hollywood 2.0, меняет мимику актёров в фильмах, чтобы «подогнать» её под иностранную или просто переделанную озвучку. Причём не только в новом кино, но и в старом.

Flawless — стартап, который сам Манн и заметил в 2021 году, чтобы в первую очередь решить проблему дубляжа. По мысли режиссёра, когда иностранный фильм переозвучивают местные актёры, в глаза бросается рассинхронизация между движениями губ героя и закадровым голосом. И программа, построенная на методах машинного обучения, должна была устранить её.

«Вышка» стала первым заказом компании (не совсем профильным, но весьма успешным), который наглядно доказал: ИИ, во-первых, помогает продюсерам экономить деньги (традиционно студии-мейджоры изначально включают в бюджет некоторую сумму на пересъёмку), а во-вторых, заметно ускоряет темпы производства.

Фильм о Первой мировой войне «Они никогда не станут старше» собрали из видеохроники, которую отреставрировали, раскрасили и замедлили.
Фильм о Первой мировой войне «Они никогда не станут старше» собрали из видеохроники, которую отреставрировали, раскрасили и замедлили.

Омолодить артистов или даже оживить умерших

Разумеется, «Вышка» далеко не единственный пример того, как на постобработке в кино применяется ИИ. С его помощью можно довольно много сделать. Например: технологии ретуширования и детализации дошли до того, что теперь «Прибытие поезда» братьев Люмьер 1895 года можно смотреть в разрешении 4К.

Или, скажем, отреставрировать хронику: алгоритмы позволяют дорисовать исходники, снятые в архаичном формате 14 кадров в секунду, до нынешнего стандарта 24 к/с. Благодаря этому на старые архивы теперь можно смотреть как на свежий документальный материал: нечто подобное сделал Питер Джексон в своём документальном фильме «Они никогда не станут старше», где он восстановил хронику Первой мировой войны.

Можно также создавать частично или полностью цифровые аватары. С помощью технологии Deepfake студии омолаживают пожилых артистов, как было у Мартина Скорсезе в «Ирландце», и возвращают из небытия умерших, как было у Disney в «Изгое-один». Более того, нейросети позволяют конструировать в кадре виртуальные пейзажи и объекты, причём не только на стадии монтажа, но и прямо на площадке в режиме реального времени.

Просчитать смету по сценарию

ИИ полезен и на пре-продакшене. Например, сервис ScriptBook анализирует истории с учётом возрастного рейтинга, а также проверяет их по тесту Бекдела, то есть исследует фильм с точки зрения гендерной предвзятости — просчитывает количество женских персонажей и оценивает, насколько объёмные у них роли. И даже определяет, какие эмоции может вызвать та или иная сцена.

А софт Filmustage изучает сценарий и автоматически рассчитывает, сколько актёров будет задействовано в проекте, какие понадобятся локации, реквизит и визуальные эффекты. Похожий функционал есть и у ИИ-платформы Cinelytic, которая сама составляет расписание и смету — с ней уже даже «запартнёрился» голливудский мейджор Warner Bros.

С помощью нейросетей продюсеры могут прогнозировать зрительское поведение, а творческая группа — создавать раскадровки и концепт-арты, пользуясь программами, которые конструируют изображение на основе словесного описания. В Сети полно подобных иллюстраций, представляющих собой безумные кинематографические мэшапы: например, «Звёздные войны», если бы их ставил Уэс Андерсон, или «Человек-паук», если бы его снимал Андрей Тарковский.

Придумать рекламный ролик или телепередачу

Любопытные опыты с ИИ проходят и в сфере драматургии. В 2019 году японский бренд Lexus заказал рекламный ролик для своей новой модели авто, и сценарий к ней написал искусственный интеллект IBM Watson (воплотил задумку оскароносный режиссёр Кевин Макдональд). А на российском ТВ сейчас запускается первый в мире сериал, написанный нейросетью A.I. TV Script Generator. Программа, изучив сценарии хитовых телешоу канала СТС, выдала историю о семье Сидоровых, члены которой по ходу действия осознают, что являются персонажами ситкома.

Проект СТС — очередное напоминание, что алгоритмы обучаются на уже созданных произведениях, а значит, не способны выдать оригинальный продукт. Даже минутная реклама Lexus потребовала сценарной доработки, при том что ролик довольно бессюжетный. «Нейрофильмы» не будущее индустрии, а лишь отдельный вид курьёза типа VR-контента и интерактивного кино. Поэтому ИИ, вопреки луддистским толкам, не смерть тем или иным профессиям, а лишь вспомогательный инструмент, который предполагает активную вовлечённость «естественного» интеллекта.

Принцессу Лею, которую играла Керри Фишер, умершая в 2016 году, «воспроизвели» с помощью ИИ для нового фильма «Изгой-один: Звёздные войны. Истории». В этот раз ее сыграла Ингвильд Дейла.
Принцессу Лею, которую играла Керри Фишер, умершая в 2016 году, «воспроизвели» с помощью ИИ для нового фильма «Изгой-один: Звёздные войны. Истории». В этот раз ее сыграла Ингвильд Дейла.
Нейросеть Midjourney воссоздаёт кадры из несуществующих фильмов — например, как бы выглядели «Звёздные войны», будь они сняты Леонидом Гайдаем в стиле «Кавказской пленницы».
Нейросеть Midjourney воссоздаёт кадры из несуществующих фильмов — например, как бы выглядели «Звёздные войны», будь они сняты Леонидом Гайдаем в стиле «Кавказской пленницы».