{"draftJsState":{"blocks":[{"data":{"image":{"id":"5eb21570e5df9626aaccfa58"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"4ck35"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":16,"offset":1,"style":"BOLD"}],"text":" О чем эта статья","type":"header-three","key":"67jbb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В этой статье я расскажу о программе EbSynth и приведу простой пример её использования. EbSynth - это программа, созданная на основе нейросети. Данная программа позволяет изменять изображения, а точнее стилизовать их. ","type":"unstyled","key":"flf9j"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Под стилизацией здесь понимается замена отдельных элементов изображения, цвета (была синяя рубашка на фото, стала красная) или стилизация изображения целиком. ","type":"unstyled","key":"d41mc"},{"data":{},"depth":0,"entityRanges":[{"key":0,"length":17,"offset":242}],"inlineStyleRanges":[{"length":17,"offset":242,"style":"UNDERLINE"}],"text":"С учетом того, что любое видео может быть разбито на кадры (картинки, изображения), а потом собрано из кадров - программа может изменять/стилизовать видео. Не на прямую, но всё же. О том как разбивать видео на кадры и собирать его из кадров я уже писал ранее.","type":"unstyled","key":"ap1vo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":70,"offset":113,"style":"UNDERLINE"}],"text":"Программа достаточно проста в использовании, но требует навыков и опыта для получения качественного результата. В конце статьи будет ссылка на программу и ссылка на файлы с примером.","type":"unstyled","key":"c1rme"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":14,"offset":0,"style":"BOLD"}],"text":"Зачем это надо","type":"header-three","key":"bcare"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Это творчество и искусство. EbSynth можно использовать по разному и для разных задач. Тут всё будет зависеть от пользователя, его навыков и его целей.","type":"unstyled","key":"62sdq"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Принцип работы программы","type":"header-three","key":"d3iks"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"У программы всего одно окно. Вот оно.","type":"unstyled","key":"2isd9"},{"data":{"image":{"id":"5eb774f00eb0647a485a9490"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Основное окно программы.","type":"atomic:image","key":"29ro3"},{"data":{"image":{"id":"5eb21925260ca90dc39877b0"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Основными полями тут являются: ","type":"unstyled","key":"e4atj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Keyframes и Video ","type":"unordered-list-item","key":"ci4jk"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Stop << Keyframe >> Stop","type":"unordered-list-item","key":"edgcn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Принцип работы программы приведу на примере. Сразу говорю, что это базовый пример, в котором не рассматриваются дополнительные настройки.","type":"unstyled","key":"1hrp6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пусть у пользователя есть видео, которое он хочет изменить. Пользователь разбивает видео на кадры и копирует кадры в папку. Эту папку он указывает в программе, как Video. Логично? Вполне.","type":"unstyled","key":"fpp5d"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Далее пользователь изменяет отдельные кадры. Например открывает их в фотошопе, меняет цвет, что то дорисовывает, что то удаляет - вообщем простор для творчества и экспериментов. Эти кадры он копирует в другую папку, которую указывает в программе как Keyframes . Так называемые ключевые кадры.","type":"unstyled","key":"cndun"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"После этого пользователь создает пустую папку, которую указывает в программе как Output. Там будет сохранен результат работы программы.","type":"unstyled","key":"4chk6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Итого у нас есть исходные кадры - папка Video, пара измененных кадров - папка Keyframes и папка где будет сохранен результат - Output.","type":"unstyled","key":"18ceb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Осталось совсем немного - указать программе на основе какого кадра из папки Keyframes следует изменять кадры в папке Video. Проще говоря - смотри на картинку в папке Keyframes и \"как то так\" изменяй картинку в папке Video. За это отвечают поля Stop << Keyframe >> Stop.","type":"unstyled","key":"fpi96"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"То есть, Начальный кадр в папке Video << Ключевой кадр в папке Keyframes >> Конечный кадр в папке Video. ","type":"unstyled","key":"dug46"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Например 1<< 1>>10. И далее 1<< 14>>20 и т.д.","type":"unstyled","key":"41so9"},{"data":{"image":{"id":"5eb77e30d4dba80e6f24bd59"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пример кадров и кейфреймов.","type":"atomic:image","key":"6m0e4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Таким образом, мы как бы говорим программе - кадры (картинки) с 1 по 10 в папке Video изменяй смотря на кадр 1 в папке Keyframe. А кадры с 11 по 20 изменяй смотря на кадр 14 в папке Keyframe.","type":"unstyled","key":"afvtv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Сколько нужно таких последовательностей, сколько ключевых кадров - зависит от видео. Дело в том, что на кадрах с 1 по 10 может быть, например, синяя рубашка. Мы изменим первый кадр в фотошопе и сделаем рубашку красной. Сохраним результат в папке Keyframe как кадр 1. И укажем это программе.","type":"unstyled","key":"d9s9o"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Программа, наблюдая на кадрах Video синюю рубашку и видя в папке Keyframe кадр с красной, начнет заменять синий цвет на красный. Стилизация в действии! Мы получим в папке Output 10 кадров с красной рубашкой. ","type":"unstyled","key":"df9rb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Но вот если на кадре 11, рубашка исчезнет - например человек в этой рубашке ушел из кадра, а появились брюки, то программа не поймет что нужно делать и результат будет непредсказуемый. Поэтому как только произошли серьезные изменения - новый объект, сильное изменение позиции объекта (человек в рубашке ушел очень далеко), изменение форму объекта (человек снял и начал гладить рубашку) - нужно изменять этот кадр. Собственно по этому они и называются ключевые.","type":"unstyled","key":"273n8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пример","type":"header-three","key":"5pqfv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Вырежем 5 секунд из мультфильма Мистер Бин. Давайте изменим форму рестлера с красной на синюю. ","type":"unstyled","key":"f5t1i"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Разобьем видео на кадры.","type":"unstyled","key":"296p8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Кадры с 1 по 65 нам не интересны. Тут нет рестлера. Ничего менять не нужно.","type":"unstyled","key":"8sd82"},{"data":{"image":{"id":"5eb78d57c7c480495abf9fc8"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"4ocha"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"На кадре 66 (Video\\000066.png) появляется рестлер. Вот он то нам и нужен.","type":"unstyled","key":"1mh65"},{"data":{"image":{"id":"5eb78dc65d5c845913fcb588"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"aqfag"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Изменим кадр, отредактируем в фотошопе. И сохраним это изображение в папку Keyframes (Keyframes\\000066.png). Теперь у нас есть один ключевой кадр.","type":"unstyled","key":"a5cop"},{"data":{"image":{"id":"5eb78ddf5d5c845913fcb58b"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"b5cch"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Смотрим кадры далее. На кадре 90 он начинает падение. То есть происходит какое то значительное изменение положения объекта.","type":"unstyled","key":"cf97r"},{"data":{"image":{"id":"5eb78e9dd4dba80e6f24bdc8"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"2gdt7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"На кадре 103 он уже лежит. Ещё одно изменение.","type":"unstyled","key":"3q7b8"},{"data":{"image":{"id":"5eb78f7556433c437a46e0ee"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"8vu82"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"На кадре 126 он тоже будет лежать, не буду сюда его вставлять.","type":"unstyled","key":"doqc4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Загрузим всё в программу. И укажем следующие настройки.","type":"unstyled","key":"6jrn5"},{"data":{"image":{"id":"5eb790360eb0647a485a952a"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"bkjnf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Я указал одну последовательность. То есть говорю программе - начинай изменения с 66 кадра, ориентируйся на ключевой кадр 66 и остановись на 126 кадре.","type":"unstyled","key":"bm6os"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Да, я видел, что рестлер изменяет положение, падает. Но всё же, я надеюсь что нейросеть поймет это движение. Я не хочу много работать и изменять ещё пару кадров (а иногда это нужно). Посмотрим, что из этого выйдет.","type":"unstyled","key":"8taoc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Итак, в папке Output я получил следующие кадры. Кадр 67 - нейросеть поняла что нужно делать и раскрасила форму в синий цвет. И это не удивительно - отличий от кадра 66 почти нет.","type":"unstyled","key":"et69g"},{"data":{"image":{"id":"5eb79126bca2ec5606d7edd5"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"egmmr"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":" Далее, до 78 кадра всё в порядке. И вот кадр 78.","type":"unstyled","key":"fmcr3"},{"data":{"image":{"id":"5eb792a291b5645304614ded"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"79sb5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Посмотрите на ботинок справа. Он темно красный. А должен быть синий. Дело в том, что рестлер быстро передвинул ногу - изменил позицию и нейросеть не смогла отследить, связать это изменение с ключевым кадром.","type":"unstyled","key":"c2tum"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Кадр 79. Ботинок снова синий. Нейросеть смогла понять что ботинок должен быть синий.","type":"unstyled","key":"3jrmm"},{"data":{"image":{"id":"5eb7937a5d5c845913fcb5c0"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"c1g58"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Кадр 98. нейросеть понимает, что нужно делать, хотя объект изменил положение и даже форму.","type":"unstyled","key":"3khct"},{"data":{"image":{"id":"5eb793e9f5177f4668b89b53"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"7rlur"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Кадр 126. Форма синяя, ботинок красный.","type":"unstyled","key":"5p6v0"},{"data":{"image":{"id":"5eb7941b9ad7a1537819fb72"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"vnct"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Интересный результат. То есть, мы решили задачу на 90%. Изменив всего один кадр, мы изменили 126! Но есть нюансы - ботинок.","type":"unstyled","key":"2u9r4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Нейросеть то меняет его цвет, то нет. А вот цвет формы всегда синий, хотя рестлер летит на пол, изменяя и позицию и форму. Скажу прямо - с чем это связано сложно понять, нейросеть так обучена. Но как я и сказал - важна форма и позиция объекта. Возможно, размер, положение, цвет сыграл роль - хотя и тут тоже всё индивидуально.","type":"unstyled","key":"70f9n"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Решается эта проблема - добавлением нового ключевого кадра. То есть нужно просто изменить кадр 78, раскрасив ботинок в синий цвет. И далее наблюдать, где нейросеть снова ошибется. Можно и изменить другие настройки (Weight, Mapping..), описание функций которых выходит за рамки данной статьи.","type":"unstyled","key":"c2ehe"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Да, исправлять ошибки нейросети не очень приятно. Но EbSynth пока в альфа версии и я считаю что это достойный результат. В этой статье я показал базовый и простой пример использования EbSynth. Нейросеть очень интересная и спектр её применения достаточно велик от простого изменения видео, до анимации старинных картин.","type":"unstyled","key":"9iudk"},{"data":{},"depth":0,"entityRanges":[{"key":1,"length":6,"offset":0}],"inlineStyleRanges":[{"length":6,"offset":0,"style":"UNDERLINE"}],"text":"Пример","type":"unstyled","key":"76eh5"},{"data":{},"depth":0,"entityRanges":[{"key":2,"length":17,"offset":0}],"inlineStyleRanges":[{"length":17,"offset":0,"style":"UNDERLINE"}],"text":"Программа EbSynth","type":"unstyled","key":"15ka4"},{"data":{"image":{"id":"5eb798260b9b23028676b0ec"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"5g7jm"},{"data":{"image":{"id":"5eb798207d06cd060304339f"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"77r60"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"marker","key":"Znyi1v0tqBVcsdhzU9Fz"}],"entityMap":{"0":{"data":{"url":"https://zen.yandex.ru/media/it_live/programma-ffmpeg-i-ee-7-osnovnyh-komand-dlia-raboty-s-video-vyrezaem-skleivaem-i-izvlekaem-zvuk-iz-video-s-pomosciu-ffmpeg-5e33a58fc2eb47311aa0fdf5"},"mutability":"MUTABLE","type":"LINK"},"1":{"data":{"url":"https://yadi.sk/d/FGynsJQv2gJ2aQ"},"mutability":"MUTABLE","type":"LINK"},"2":{"data":{"url":"https://ebsynth.com/"},"mutability":"MUTABLE","type":"LINK"}}},"mentions":[]}