С этой статьи я начну серию публикаций о работе в популярной нейросети Stable Diffusion. В данный момент я работаю над одним видеоматериалом. Как это сейчас модно, я перерабатываю отснятое на камеру или телефон видео с целью преобразования героев в нарисованных или, например, 3D персонажей.
Так как материал, с которым сейчас работаю, имеет не самое лучшее качество по освещению, пришлось столкнуться с некоторыми нюансами.
То, о чем я уже как-то ранее писал (речь идет о написании статьи в одном из тематических каналов) - очень важно иметь качественные исходники, с максимально возможно качественным, высоким разрешением. На сколько возможно, это разрешение, это качество необходимо сохранять.
Однако, если картинка имеет небольшую размытость, при правильной настройке параметров в SD, это не сильно влияет на конечную генерацию, можно получить вполне приемлемую картинку. При этом, смазанный кадр можно воспроизвести, что позволяет получить неплохое смазанное движение в генерации, с сохранением всех деталей.
Однако, какие еще проблемы возникают, очень серьезные проблемы. С чем они связаны? Большие проблемы вызывает неправильный свет. Это могут быть и как чрезмерное затенение, так и слишком сильное освещение.
Если картинка на исходнике сильно пересвечена, но информация все же в какой-то степени еще сохранилась, то крайне важно перед тем, как готовить секвенцию, обязательно провести цветокоррекцию. Очень важно получить начальную качественную картинку, сбалансированную по свету и тени, в противном случае, нейросеть может просто "не разглядеть" всех этих нюансов и на выходе выдать, если не искаженный результат с кучей артефактов, то резкую, контрастную картинку, абсолютно без каких-либо нормальных теней и полутонов. Различные же тени на лицах могут превращаться в непонятные темные или черные полосы и пятна. Поверьте, вам это не понравится.
Поэтому, крайне важно подготовку хорошей, качественной секвенции для обработки в SD, начинать с продуманного цветокора, а при низком разрешении исходников еще и с восстановления видео до достаточного разрешения и устранения всяких шумов и артефактов.
