Сериал «On This Day… 1776» Даррена Аронофски использует ИИ для создания исторических реконструкций. Источник сообщает, что на создание минут видео уходят «недели» из-за итеративного процесса и необходимости доработки. — arstechnica.com
На прошлой неделе студия Даррена Аронофски Primordial Soup и журнал Time выпустили первые два эпизода On This Day… 1776. Серия коротких видеороликов, рассчитанная на год, представляет собой короткие зарисовки, описывающие события Американской революции 250-летней давности, но при этом использует «различные инструменты ИИ» для создания фотореалистичных сцен с аватарами исторических личностей, таких как Джордж Вашингтон, Томас Пейн и Бенджамин Франклин.
В анонсе сериала президент Time Studios Бен Битонти заявил, что проект дает «взгляд на то, как может выглядеть продуманное, творческое использование ИИ под руководством художников — не замена мастерства, а расширение возможностей и позволяющее рассказчикам идти туда, куда раньше было просто невозможно».
Сторонние критики отнеслись к этой работе далеко не с таким энтузиазмом. The AV Club раскритиковал вводные эпизоды за «повторяющиеся движения камеры [и] восковые персонажи», которые создают «уродливый взгляд на американскую историю». CNET заявил, что этот «AI-шлак разрушает американскую историю», назвав видео «адским бульоном из машинного AI-шлака и плохих человеческих решений». The Guardian посетовал, что «когда-то прославленный режиссер Черного лебедя и Рестлера утонул в AI-шлаке», назвав сериал «постыдным», «ужасным» и «уродливым, как грех». Можно продолжать.
Но такая первоначальная реакция, очевидно, не остановила Primordial Soup от их все еще развивающихся усилий. Источник, близкий к производству, который попросил анонимности, чтобы откровенно говорить о деталях создания сериала, сообщил Ars, что качество новых эпизодов будет улучшаться по мере совершенствования инструментов ИИ команды в течение года и по мере того, как команда научится лучше их использовать.
«Мы полностью исходим из того, что нам предстоит многому научиться, что этот процесс будет развиваться, инструменты, которые мы используем, будут развиваться», — сказал источник. «Мы будем совершать ошибки. Мы многому научимся… мы станем лучше в этом, [и] технологии изменятся. Мы посмотрим, как аудитория реагирует на определенные вещи, что работает, что нет. Это огромный эксперимент, на самом деле».
,
Не только ИИ
Важно отметить, что On This Day… 1776 не полностью создан с помощью ИИ. Например, сценарий был написан командой сценаристов под руководством давних партнеров Аронофски Ари Хэндела и Лукаса Сассмана, как отметил The Hollywood Reporter. Это делает такие критические замечания, как у The Guardian, о «слоганах, звучащих как из ChatGPT» в первых эпизодах, несколько неуместными и уморительно резкими.
Наш производственный источник говорит, что проект всегда задумывался как написанный человеком, и что команда, стоящая за ним, долго планировала и исследовала, как рассказать подобную историю. «Я не думаю, что [им] вообще нужна была такая помощь или они хотели такой [помощи в написании с помощью ИИ]», — сказал он. «Мы все экспериментировали с [написанием с помощью ИИ] и чат-ботами, и вы знаете, какого качества от этого можно ожидать».
Продюсеры также прилагают все усилия, чтобы отметить, что весь диалог в сериале записывается непосредственно актерами озвучивания Гильдии киноактеров США, а не ИИ-имитациями. Хотя недавно достигнутые правила профсоюза могут иметь к этому отношение, наш производственный источник также сообщил, что голоса, сгенерированные ИИ, которые команда использовала для временных треков, были заметно искусственными и не готовы для профессионального производства.
Люди также напрямую отвечают за музыку, монтаж, сведение звука, визуальные эффекты и цветокоррекцию проекта, по словам нашего источника. Единственная область, где задействованы «инструменты на базе ИИ», — это само видео, которое создается с использованием того, что в анонсе называется «сочетанием традиционных инструментов кинопроизводства и новейших возможностей ИИ».
На практике, по словам нашего источника, это означает, что люди создают раскадровки, находят визуальные ссылки для локаций и персонажей и настраивают желаемый вид кадров. Эта информация, вместе со сценарием, передается генератору видео ИИ, который создает отдельные кадры по одному, чтобы затем люди объединили их и доработали в традиционном постпродакшене.
,
Этот процесс выводит генерацию кинематографических диалогов с помощью ИИ на шаг дальше, чем Ancestra, короткометражный фильм, выпущенный Primordial Soup прошлым летом в сотрудничестве с Google DeepMind (который не имеет отношения к новому проекту). Там инструменты ИИ использовались для дополнения «сцен с живыми актерами последовательностями, созданными Veo».
«Недели» промптинга и повторного промптинга
Теоретически, возможность ИИ генерировать сцену за минуты может сэкономить много времени по сравнению с традиционным кинопроизводством — поиск локаций, наем актеров, установка камер и декораций и тому подобное. Но наш производственный источник сказал, что очень итеративный процесс генерации и совершенствования кадров для On This Day… 1776 по-прежнему занимает «недели» для каждого минутного видео, и «чаще всего мы не успеваем к срокам».
Несмотря на то, что модель ИИ по сути анимирует фотореалистичные аватары, источник отметил, что процесс «больше похож на съемку вживую» из-за отсутствия детального контроля над тем, что сгенерирует видеомодель. «Вы не знаете, получите ли вы то, что хотите, с первого дубля, или с двенадцатого, или с сорокового», — сказал источник.
Хотя некоторые кадры требуют меньше времени для получения нужного результата, чем другие, источник отметил, что модель ИИ редко выдает идеальный, готовый к эфиру кадр с первой попытки. И хотя некоторые мелкие проблемы в кадре, сгенерированном ИИ, можно исправить на постпродакшене с помощью визуальных эффектов или тщательного монтажа, чаще всего команде приходится возвращаться и давать модели указание сгенерировать совершенно новое видео с небольшими изменениями.
«Это все равно требует много работы, и не обязательно потому, что что-то неправильно само по себе, сколько из-за попытки получить нужный контроль, потому что вы [можете] захотеть, чтобы свет правильно падал на лицо, чтобы попытаться рассказать историю», — сказал источник. «Мы все еще, мы все еще стремимся к тому же уровню контроля, который у нас всегда был [при съемках вживую], чтобы действительно максимизировать историю и эмоции».
,
Короткие кадры и меньшие бюджеты
Хотя видеомодели продвинулись с тех времен, когда появился кошмарный клип с Уиллом Смитом, поедающим спагетти, галлюцинации и бессмысленные изображения «по-прежнему являются проблемой» при производстве On This Day… 1776, по словам нашего источника. Это одна из причин, по которой компания решила использовать серию коротких видеороликов, а не полнометражный фильм, рассказывающий ту же основную историю.
«Одно дело — сохранять последовательность в течение трех минут. Гораздо сложнее и требует гораздо больше работы — сохранять последовательность в течение двух часов», — сказал источник. «Я не знаю, каков сейчас верхний предел [но] чем дольше, тем больше вещей начинает разваливаться».
Сохранение короткой продолжительности отдельных кадров также обеспечивает больший контроль и меньше «пересъемок» для такого производства с анимацией ИИ. «Если подумать, если вы пытаетесь создать 20-секундный клип, в нем происходит множество событий, и если что-то из этого идет не так в течение 20 секунд, вам приходится начинать все сначала», — сказал наш источник. «И вероятность того, что что-то пойдет не так в течение 20 секунд, довольно высока. Шанс того, что что-то пойдет не так в течение восьми секунд, намного ниже».
Хотя наш производственный источник не смог предоставить конкретных данных о том, сколько команда тратит на генерацию такого количества видео, смоделированного ИИ, он предположил, что процесс по-прежнему обходится значительно дешевле, чем съемка исторической документальной драмы подобного рода на месте.
«Я имею в виду, мы никогда не смогли бы достичь того, что делаем здесь, за такие деньги, что, я думаю, довольно очевидно, когда вы это смотрите», — сказал он. В будущих эпизодах, пообещал источник, «вы увидите вещи, которые камеры просто не могут сделать» как способ «максимально использовать этот носитель».
,
«Давайте посмотрим, что мы можем сделать»
Если вы следили за тем, как быстро развиваются события с видео, генерируемым ИИ, вы можете подумать, что модели ИИ скоро смогут создавать кино Голливудского качества только по простому запросу. Но наш источник сказал, что работа над On This Day… 1776 подчеркивает, насколько важно, чтобы люди по-прежнему участвовали в подобных проектах.
«Лично я не думаю, что мы когда-нибудь дойдем до этого [замены человеческих редакторов]», — сказал он. «Нам отчаянно нужен редактор. Нам нужен второй комплект глаз, который сможет посмотреть на монтаж и сказать: „Если мы выйдем из этого кадра немного раньше, мы сможем создать некоторую срочность. Если мы задержимся на чем-то немного дольше…“ Это все еще очень нужно».
Это может быть хорошей новостью для людей-редакторов. Но On This Day… 1776 также предполагает мир, где человеческие актеры на экране (или даже захваченные движением) будут полностью заменены аватарами, созданными ИИ. Однако, когда я спросил нашего источника, почему продюсеры считают, что ИИ готов взять на себя эту конкретную человеческую часть кинематографического уравнения, ответ меня удивил.
«Честно говоря, я не знаю, знаем ли мы это», — сказал он. «Я думаю, мы знаем, что технологии существуют, чтобы попробовать. И я думаю, что как рассказчики мы очень заинтересованы в использовании… всех различных инструментов, которые у нас есть, чтобы попытаться донести нашу историю и заставить аудиторию что-то почувствовать».
«Нечасто появляются такие огромные новые инструменты», — продолжил источник. «Я имею в виду, этого никогда не было в моей жизни. Но когда у вас [появляются такие новые инструменты], вы хотите начать с ними играть… Мы должны пробовать вещи, чтобы знать, работают они или нет».
«Так что, знаете ли, у нас теперь есть инструменты. Давайте посмотрим, что мы можем сделать».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Kyle Orland