Бесчисленные исторические фотографии хранятся в черно-белых тонах в мировых архивах. Сегодня эти культурные ценности сохраняются посредством оцифровки и (частично) улучшаются посредством цифровой реставрации.
С 1970-х годов предпринимались попытки раскрасить их. Однако реального прогресса не было — усилия и связанные с этим затраты на ручное или полуавтоматическое окрашивание были слишком высоки. В принципе возможно полностью автоматическое окрашивание пленки. Однако у этого способа есть недостаток, заключающийся в том, что цвета могут быть красивыми, но они не соответствуют действительности.
Именно здесь появился проект «RE:Color: эффективное окрашивание фильмов кинематографического качества на основе новых методов машинного обучения» в Технологическом университете Граца (TU Graz). Ученые-программисты во главе с Томасом Поком из Института компьютерной графики и Vision совместно с компанией из Граца, специализирующейся на реставрации исторических фильмов HS-Art, разработали интегрированное программное обеспечение, которое сочетает в себе интерактивные и автоматизированные методы окрашивания с технологиями глубокого обучения.
Результатом стал алгоритм преимущественно автоматического, но полностью контролируемого пользователем процесса окрашивания.
Реалистичная раскраска
По словам Пока, очень важно, чтобы люди могли влиять на процесс окрашивания: «Всегда нужен кто-то, кто знаком с историческими традициями, кто может сказать, как выглядела тогда одежда, фасады и т. д. Была ли солдатская форма зеленой или синей? Ни один алгоритм не может решить это, но он может извлечь из этого уроки».
Поэтому алгоритм должен быть снабжен достаточно большой коллекцией обучающих выборок, чтобы затем автоматически взять на себя раскрашивание исторических фильмов. «Речь идет о максимально эффективном окрашивании пленки с минимальным вмешательством пользователя. Это может означать, например, что человек задает цвет для кадра пленки, а затем программное обеспечение берет на себя окрашивание следующих кадров», — объясняет Пок.
Это основное требование пользовательского управления выполняется только благодаря предварительно обученным нейронным сетям, на которые можно динамически влиять при взаимодействии с пользователем.
С этой целью исследователи разработали различные новые подходы в области автоматизированного окрашивания на основе искусственного интеллекта (ИИ). Затем вместе с разработчиками HS-Art они реализовали наиболее эффективный подход в прототипе приложения и сгенерировали достаточно мощную коллекцию обучающих образцов. Затем было осуществлено управление под руководством человека для получения аутентичных и подходящих цветовых схем.
Аутентичный шум изображения
С помощью разработанных алгоритмов можно восстанавливать лишь чистые кадры, а также окрашивать их, но это не всегда желательно. Пок говорит: «С историческими кадрами и кинофильмами в целом вам нужен определенный уровень шума, так называемая «зернистость пленки», иначе кадр не будет выглядеть аутентичным для зрителей. По этой причине программное обеспечение также может искусственно генерировать шум и добавлять этот шум снова после реставрации и окраски».
Основной алгоритм был опубликован на крупном международном симпозиуме, а исходный код находится в свободном доступе. Однако для эффективного использования необходимо программное обеспечение на его основе, которое было разработано партнером по проекту HS-Art и находится в их портфеле продуктов. «Diamant film colorizer» использовался уже в нескольких документальных сериалах для раскрашивания исторических кадров в соответствии с оригиналом.
Читайте далее: