Глаза, мозг, качество видео: размышления о 120fps, 8K, HDR, палочках, колбочках и «эффекте мыльной оперы»

Я много писал в этом блоге о верности воспроизведения звука, а видео несправедливо обходил стороной и касался лишь косвенно. Решил исправить ситуацию — статья целиком и полностью посвящена проблемам качества изображения, высокой верности воспроизведения видео, а также их связи с человеческим зрением. В качестве безупречной верности воспроизведения видео можно принять такой технологический уровень, при котором картинку на мониторе будет невозможно отличить от окружающей действительности. Известно, что в настоящий момент ни традиционные телевизоры и проекторы, ни очки и шлемы виртуальной реальности не способны на такое, но уже прослеживаются закономерности и направления, в которых имеет смысл работать. Под катом я постараюсь определить наиболее значимые критерии качества воспроизведения в соответствии с тем, каким образом работает наше зрительное восприятие.

Чтобы понять, насколько значимым является тот или иной критерий, необходимо иметь представление о том, как работает зрение и как мозг распознает и обрабатывает зрительные сигналы. На человеческой сетчатке существует крайне значимый участок — центральная ямка сетчатки. Именно этот участок, составляющий лишь 1 % всей площади зрительного сенсора, способен видеть и передавать изображение высокой четкости и детальности (т.е. обладает для этого достаточным количеством зрительных рецепторов: палочек и колбочек). При этом информация, приходящая от этого участка, загружает работой более половины нейронов зрительной зоны коры головного мозга. Одномоментно зрительная ямка способна охватить лишь 2 градуса зрительного поля. Более масштабная визуальная картина окружающего мира создается в зрительной зоне коры за счет отдельных “просканированных” участках информации, а также благодаря системе зрительной памяти. Процесс визуального “сканирования” происходит быстро, но всё же занимает определенное время. На данный момент нет единого мнения о том, разницу свыше какого разрешения человеческий глаз не способен определить. Обработка мозгом зрительной информации происходит быстро и незаметно для нас, но именно эта высокая скорость восприятия и обработки позволяет нам хорошо замечать разницу между разной частотой смены кадров и ряд других особенностей, которые сигнализируют мозгу о том, что изображение липа и не является действительностью. При этом можно сказать, что всё изображение действительности, которое мы видим — это продукт регулярной деятельности мозга, несколько отстающий по времени (на миллисекунды) от событий, происходящих в текущий момент. Значит можно утверждать, что наши глаза живут в очень недалеком прошлом. Важным аспектом является частота смены кадров. Иллюзия непрерывного движения возникает уже при частоте 13 — 17 кадров в секунду. При этом известно, что человеческое зрение способно фиксировать объекты на экране, появившиеся на доли секунды (от 1/16 до 1/220 секунды). Эта способность индивидуальна и особенно хорошо развита у киберспортсменов и видеоинженеров. По данным профессора Стюарта Энстоса, мозг способен сокращать «задержку» зрительного восприятия до 10-15 миллисекунд. Палочки практически не восприимчивы к цветам, а колбочки медленнее палочек. Грубо, можно сказать, что «максимальным FPS” в человеческом зрении обладают палочки. В центре сетчатки сконцентрированы как палочки, так и колбочки, что позволяет получать полноценную картинку, при этом “медленные” колбочки формируют в большей степени цветовосприятие, а палочки в основном фиксируют движение. Основным физическим ограничением скорости визуального восприятия считается инертность рецепторов сетчатки (палочек и колбочек), в основном они определяют временную задержку при передаче информации от глаза к мозгу. Массачусетский технологический измерил минимальную инертность фоторецепторов для передачи визуальной информации — она составила 13 мс (что соответствует 77 fps), подтвердив данные Энстоса. Также известно о минимальной «палочко-колбочковой» инертности, которая составляет 20 мс(что соответствует 50 fps). Говоря проще — физиологическое ограничение скорости зрительного восприятия — 77 fps, а цветового восприятия — 50 fps. Однако, существуют данные эмпирических наблюдений, свидетельствующих, что картинка 50 fps и, например, 96 fps визуально отличаются интенсивностью цветов и субъективной оценкой четкости изображений. Этой разницей оправдывают создание фильмов и другого контента с частотой выше 77 fps. Некоторые авторы пишут о том, что мозг снабжен определенным алгоритмом, который обрабатывает зрительную информацию, и даже сравнивают его с алгоритмами обработки камер. В действительности сравнение не корректно, а понятие алгоритм применимо лишь при натягивании сетчатки на глобус. Наш мозг, как многие, полагаю, знают, аналоговая система, и в нем происходят электрохимические и биохимические процессы, определяющие результаты его деятельности. Это можно назвать алгоритмом, но он будет очень далёк от цифровых алгоритмов обработки данных. Таким образом, критерии, отвечающие за верность воспроизведения, напрямую связаны с тем, каким образом мы получаем зрительную информацию и как её воспринимает и обрабатывает мозг. Справедливо будет утверждать, что секрет реалистичности лежит в плоскости создания такой иллюзии, которую мозг не сможет идентифицировать как фейковое изображение. И тут есть большая проблема, данные о скорости восприятия реального и формирования вымышленного визуального образа изучены недостаточно, могут индивидуально варьироваться в достаточно широких пределах. и зависят от сотен физиологических факторов. По этой причине нормы качественного изображения обычно определяются эмпирически, точнейшим методом научного тыка.

Нередко, люди, только начинающие вникать в проблематику качества цифровой картинки, полагают, что его единственным значимым критерием является разрешение. Отчасти можно с ними согласиться, так как детальность картинки в первую очередь зависит от него. Сегодня ведутся споры о том, насколько в быту нужны форматы с разрешением выше, чем FullHD. При этом понятно, что добиться реализма в видео без высокого разрешения нельзя, хотя оно и не является единственным условием высокой верности воспроизведения. Из субъективного опыта можно сделать вывод, что если очень долго присматриваться и обращать внимание на детали, особенно когда речь идёт о проекторах и действительно больших диагоналях экрана, использование 4K оправдано. Более того, сегодня 4K превращается в своеобразный стандарт для людей, заботящихся о качестве картинки, мол, с разрешением ниже даже неприлично покупать. Торговые компании и наша в том числе очень рады такому стереотипу — это позволяет нам заработать больше. Уже сегодня многие покупатели считают 8K необходимым злом . Как правило, такое желание возникает не от того, что покупателю реально заметна разница. Часто они просто хотят приобрести такое устройство, в котором не будут сомневаться, т.е. ради того, чтобы знать, что купленный телевизор или проектор создан на пределе технологических возможностей своего времени. Особую значимость разрешение приобретает в VR-системах, где стараются добиться погружения пользователя и стремятся создать максимально достоверную иллюзию действительности. Вопреки прогнозам здравомыслящих, но не очень прозорливых экспертов, вещание в 8K уже началось. В этом формате вещает RED и NHK, а возможно ещё кто-то, кого я не знаю, но эти стали пионерами. Опираясь на исследования в области VR, некоторые прочат 8K будущее и пишут о том, что этот формат имеет большую практическую ценность. Я не разделяю столь откровенного оптимизма, хотя убежден, что рано или поздно смогу обнаружить какие-то отличия от 4K и даже, что 8K не станет последним в гонке разрешений. Это не от того, что 8K действительно необходимо, но в связи с тем прогресс не должен останавливаться. Технологическая возможность увеличивать разрешение зависит от фактического размера пикселя, логично, что чем последний меньше, тем выше разрешение. Я сомневаюсь, что пиксели можно уменьшать бесконечно, рано или поздно этот процесс дойдет до физического ограничения. Проблемой высокого разрешения становится постоянно увеличивающийся объем видео, а соответственно, необходимость в постоянном наращивании пропускной способности каналов передачи данных. Если речь идёт о телевидении и регулярном вещании, колоссальные объемы данных высокого разрешения (даже 4K) порой вызывают лаги и искажения, что связано с недостаточным для вещания каналом.

Способности нашего зрения к восприятию света и цветов различной интенсивности, различению большого количества оттенков сформировало ещё один критерий качества видеокартинки — динамический диапазон. Характеристика, фиксирующая отношение наиболее яркого цвета к менее яркому (но ещё не чёрному) в видеоконтенте. Высокий динамический диапазон и технологию его обеспечивающую сегодня принято называть HDR. Принято считать, что человеческий глаз способен определять динамический диапазон в пределах 1 000 000:1, а порой и выше. Такая способность зрения во многом обусловлена необходимостью различать габариты и очертания окружающих нас предметов, даже при не очень хорошем освещении. Известен эксперимент, отражающий важность динамического диапазона наравне с разрешением. Так, сравнению подверглись изображения 1080p SDR и UHD HDR, а затем 1080p HDR и UHD HDR. В первом сравнении разница была заметна невооруженным взглядом, но для второго случая не была очевидна. Субъективная оценка была таковой, что использование HDR воспринимается как улучшение качества (четкости, детальности, точности) картинки на 90%, по сравнению с SDR.

В нашем блоге мы однажды уже касались вопроса частоты кадров в секунду. Объективно, высокая частота кадров в секунду однозначно делает изображение более реалистичным. Что доказал первый в мире фильм, снятый в 96fps, о котором мы уже писали. Характерно, что фильм был документальный. Не случайно, что именно частоты во много раз выше традиционного для кино 24fps, применяются в лучшей в мире серийной системе виртуальной реальности HTC vive pro. Как я уже упоминал, именно в VR существует острая необходимость в максимально реалистичном изображении. Рекорд документалки , о которой мы писали, был побит американской картиной «Долгий путь Билли Линна в перерыве футбольного матча» Энга Ли, где использовалась частота уже 120fps. Несмотря на прорывы в области частоты, большинство людей встречают нововведения с негодованием, обвиняя в эффекте “мыльной оперы”, “телевизионности”, “низкой кинематографичности”, “художественной злокачественности“ такой частоты. Мол, убивает нехорошая частота всю “тёплую ламповую магию кино”. Эффект объясним тем, что подавляющее большинство критиков отождествляют хорошее кино с тем, что уже видели, а видели они хорошее кино в кинотеатрах с 24fps. При этом повышение частоты у большинства ассоциируется с телесериалами, далеко не все из которых отличались сносным качеством. Стандарт настолько укоренился в человеческой культуре, что гарантировано отражается на восприятии и становится одним из критериев качества, хотя объективно таковым быть не должен.