Дыхание. Мы не задумываемся, когда делаем вдох или выдох, но обращаем внимание на тяжелое или учащенное дыхание собеседника, героя фильма или игры. А думали ли вы над тем, как работает дыхание какого-то персонажа в какой-то игре? Аналогично ли оно дыханию реального человека или сильно упрощено?
Саунд-дизайнер Naughty Dog Бо Энтони Хименес рассказал в своем твиттере, как создавалась и как работает система дыхания персонажей в недавней The Last of Us Part II, а я — автор статьи — перевел и скомпоновал всё это в один текст. Приятного прочтения!
Присутствуют спойлеры!
Чтобы вы понимали, система дыхания основывается на двух фундаментальных концепциях: мурмурации и сердечном ритме.
Мурмурация – это зацикленный звук, издаваемый каким-либо персонажем. Он имеет наименьшей приоритет, поэтому любой звук, сопровождающий анимацию, прерывает его. После проигрывания этого звука, цикл звука мурмурации продолжается с того места, на котором он был прерван.
Подобный циклический звук называется мурмурацией еще и потому, что это «звук под звуком». Для Элли и Эбби это глубокое иммерсивное дыхание, для Щелкунов – щелчки, взвизгивания, разъяренные крики, для собак – звуки фырканья, лизания чего-то, поскуливание и так далее.
Сердечный ритм или же частота сердечных сокращений – это некоторое значение, выраженное числом от 0 до 1.
Если говорить простым языком, это маркер того, каким будет сердечный ритм у персонажа в конкретной ситуации. Также можно сказать, что это индекс для своеобразного массива данных. При значении «единица» сердечный ритм будет максимально напряженным, при значение «ноль» – максимально расслабленным.
Системой сердцебиения обладает каждый герой, напарник, зараженный, зверь и даже персонаж или NPC в игре.
Для измерения частоты сердечных сокращений используются определенные состояния, которые обозначаются теми самыми числами и называются «состояниями сердечного ритма».
Условиями для того или иного состояния могут быть разные типы атак, осведомленность искусственного интеллекта противников о вашем состоянии: спрятались вы у них на глазах, невидимы ли вы для них или были замечены, ну и что-либо другое, основанное на цикличности.
Программная часть игры позволила выделить такое количество состояний, какое было необходимо саунд-дизайнеру для выполнения поставленной задачи.
Например, у щелкунов есть состояния «Бешенство» и «Неподозревающий», им приданы значения сердечного ритма «1» и «0,7» соответственно.
И благодаря этому можно воспроизводить самые разные циклические звуки в зависимости от контекста.
В случае Элли в основном все же используется мурмурация, поэтому для нее всегда проигрывается циклический звук. Примечательно, что у героини есть несколько состояний сердечного ритма, зависящих от напряжения, а не от того бежит она или нет.
Например, если Элли бежит в обстановке высокого напряжения, то состояние ее сердечного ритма это «высокий эмбиент», стоит девушке остановится, как ее сердечный ритм переходит к состоянию «низкий эмбиент».
Благодаря этому саунд-дизайнер может определить, сколько времени необходимо для учащения или замедления пульса при переходе от одного состояния к другому, это же позволяет ему выбирать, как долго должно звучать затрудненное дыхание или через какой промежуток времени при беге Элли начнет задыхаться.
Всё это развязывает руки саунд-дизайнеру и делает его возможности безграничными. Например, можно:
А) Воспроизводить разные звуки в зависимости от продолжительности бега и напряженности обстановки
Б) Проигрывать различные вариации затрудненного дыхания в зависимости от продолжительности бега.
Если Элли побежит в тот момент, когда ее заметит враг, то вы услышите, как прежде размеренное дыхание героини станет более лихорадочным и усталым. Каждое состояние, связанное с напряжением, имеет 3 этапа различной интенсивности.
Когда вы перестанете бежать, то сможете выделить несколько стадий определенного варианта затрудненного дыхания Элли, которые при всём этом смешиваются с ее обычным дыханием (мурмурацией).
Ассетов одного лишь дыхания сотни, причем вдох и выдох разбиты, как отдельные элементы. Самое главное, что каждый вариант зависит от огромного числа переменных, например, напряжения, здоровья, головокружения у Эбби, осведомленности противников, сердечного ритма и прочих.
Система была создана так, чтобы каждый вариант проигрывался непрерывно до момента смены состояния. Этот подход можно назвать естественным, и таким образом игрока заставляют чувствовать, что он управляет живым, по-настоящему дышащим организмом.
Сердечный ритм чаще завязан на сюжетных моментах. Саунд-дизайнер может намеренно повысить частоту сердечных сокращений, чтобы потом, во время скримера, резко ее понизить, на что игрок гарантированно обратит внимание.
В представленном фрагменте показано резкое учащение пульса Элли в момент, когда она оказывается в узком пространстве, испытывая страх. Такое состояние отлично сочетается со сценой, следующей за отламыванием трубы.
Мурмурация также прерывается кастомными циклическими звуками, воспроизводимыми во время эмоциональных пиков, в геймплейных или кинематографических сценах. Таким образом игрока можно с легкостью поместить на место героя и заставить сопереживать ему, показывая, что он или она испытывает.
По сути, дыхание может быть отличным посредником, передающим эмоции.
Одна заслуживающая внимания особенность – это дыхание в режиме стелса или же «стелс-дыхание» с открытым или закрытым ртом. Если Элли окажется на определенном расстоянии от противника, то она начнет дышать исключительно носом.
Игрок может не заметить сие изменение, но оно все же повлияет на его восприятие. Как отмечает саунд-дизайнер, звук имеет интересное свойство обходить мозг и направляться прямо к сердцу.
Головокружение Эбби также было интегрировано в описанную систему. Обстоятельства положения Эбби над землей и того, куда и как долго она смотрит, влияют на камеру, промежуточное звучание и звучание дыхания героини.
Кроме того, в систему были добавлены звуки, воспроизводимые во время ранения. Состояние включается, когда в тело героини попадает стрела или ее здоровье опускается до определенного уровня. Это позволяет скриптам грамотно интегрировать очередной набор вариантов звуков в базовые варианты дыхания или же мурмурации.
Все звуки дыхания персонажей и героинь были записаны с учетом представленной системы, что дало оптимальные условия для объединения и интеграции их.
И так, у нас есть впечатляющая система дыхания: пора объединить звук с пикселями.
Первоначально саунд-дизайнеры The Last of Us Part 2 хотели использовать автоматическую синхронизацию лицевой анимации, которая уже была в движке, для разделения движений рта и звука.
Это был настоящий провал, так как система не сочеталась с мычанием, кряхтением и прочими звуками, сопровождающими действия с применением силы, да и с немыми диалогами ситуация была не лучше.
После этого саунд-дизайнеры начали работать с аниматором Китом Пачелло, который предоставил лицевую анимацию, сделанную на заказ, и который вручную подгонял ее под звук.
Благодаря этому в игре есть лицевая анимация для каждого варианта дыхания героинь: от стелс-дыхания с закрытым ртом до изнурительного многоступенчатого боя с какими-то перебивками.
Эли Омерник запрограммировал эти анимации на сжатие и расширение в зависимости от длины звукового файла.
Все данные в реальном времени отправляются из промежуточного звукового программного обеспечения, поэтому лицевая анимация живо реагирует на логику звука и сохраняет реалистичное случайное поведение в зависимости от ситуации, разработанное в специальном звуковом сценарии, хранящимся в этом же ПО.
Состояние головокружения у Эбби работает с этой же системой. Трой Слау и Карина V. (автор треда не указал фамилию) постарались оживить верхнюю часть тела героини для визуализации ее испуганного дыхания.
Анимации лица и верхней части тела были синхронизированы с помощью звука. Это привнесло реалистичное и живое ощущение игроком уязвимости Эбби как человека.
Все эти функции и механики прекрасно сочетают звук с пикселями и создают одну из самых реалистичных геймплейных лицевых анимаций. Саунд-дизайнер подразумевает именно анимации во время игрового процесса.
В целом, описанная выше технология объединяет интенсивные и интуитивные элементы в The Last of Us Part II.
Она похожа на игровое освещение в том, что его трудно заметить, но, несомненно, оно эмоционально резонирует с игроком и создает ощутимое напряжение в игровом процессе.