я хочу чтобы картинка ожила

на в самом деле это логичное использование нейросетей, более того думаю появилось это не вчера, но сносно генерировать видео нейросети научились относительно недавно, а взять за основу картинку это явно не революционная идея. но я заметил на днях: пробывал и мне понравилась. правда тематика сайта эротическая, поэтому ссылку давать не буду.

смысл вот в чем: загружаете любую фотографию и описываете сценарий, что происходит. сеть на основании этой фотографии и вашего ввода пытается сгенерировать короткий видео ролик. в платной версии до 10 секунд в бесплатной только 5. я конечно фанат и тематики сайта и нейросетей вообще, но не в такой степени чтобы платить за это деньги.

кстати сценарии с жёсткой порнографией в примерах мне не понравились совсем. за 45 лет успел изучить основы анатомии и физиологии - чего я там не видел. а вот если написать промт типа "покачивает ножками" или "идет, улыбается" мне понравились значительно больше.

поймал себя на мысле это выглядит примерно также как в волшебной газете Гарри Поттера. в целом выглядит довольно забавно. можно делать действительно приятные ролики - нейросеть позволяет реализовать то, что ты себе представляешь, но правда как это часто бывает с нейросетями часто нейросеть не хочет слушаться вашего ввода.

совет довольно простой: постарайтесь описать действие максимально подробно опишите ситуацию. на подобие такого:

женщина сидит в кресле нога на ногу левая нога на правой ноге правая нога нога стоит на полу,
женщина поднимает свою правую ногу и ставит её на пол,
женщина встаёт с кресла,
женщина делает шаг.

вот здесь можно найти результаты, вот файл стартовая картинка, а вот что получилось.

если интерфейс не позволяет продолжать видео, эту функцию легко сделать на коленке: проиграйте браузерным плером фрагмент до конца, как воспроизведение остановится, сделайте скриншот "последнего кадра". ну а дальше гимп вам в руки если это требуется конечно. потом генерите новый кусок видео с этой картинки. и т.д.

все нагенерировали соединили куски последовательно - склейки будут идеальными - вот и получи ролик на минуту. метод имет ограничения в том смысле, то что выпадает из кадра-склейки сеть забывает об этом навсегда. хотя это легко исправить. в профессиональных версиях наверняка можно сохранять образы. я их просто "не щупал".

т.е у нейросети как правило "короткая память", т.е. если на руке было кольцо, но рука уехала из кадра=склейки, то когда вы вернёте руку в кадр кольца скорей всего уже не будет. т.е. нужно быть очень внимательным к картинке с которой вы начали действие, и картинке которой действие заканчивается - она станет началом следующего действия. не стесняйтесь использовать графический редактор для правки картинок-склеек. кроме того можно воспользоваться технологией дип-фейк если скажем детали лица сильно "уехали" после нескольких склеек.

видимо по такой технологии сделаны ИИ клипы. генерится куча раскадровок, потом каждая сцена описывается, генерятся короткие кусочки (сцена), а из них уже монтируется клип. вообще говоря технология классического кинопроизводства.

это ещё кстати определяется примерами которые использовались для обучения нейросети. если вы опишете сценарий который нейросеть не знает, то пока не сможет такой сценарий сгенерировать. т.е. это уже признак сильного ИИ чего пока нет. хотя некоторые шаги в этом направлении делаются например нейросети класса "имитации рассуждений". такие нейросети появились довольно давно. например у яндекса в бета тестировании есть такая возможность. такой сети большинство костылей которые я описывал не нужны, у неё есть исходные образы которые эволюционируют - если вдруг какая-то информация "ушла" нейросеть всегда может "подсмотреть" исходный образ.

бесплатная регистрация на ресурсе на ресурсе для взрослых включала в себе создание двух 5 секундных роликов. конечно не кино, но смотрится приятно - мне понравилось. если изменения картинки небольшие видео получается очень качественное.

но как я сказал нейросеть пытается просто продолжить картинку согласно вводу, но нет обратной связи. было бы намного круче если бы это была бы логика как в сети с имитацией рассуждений: нейросеть определяет на картинке образы, и описывает эволюцию уже их, при этом сверяет каждый шаг эволюции с тромпом, сделала шаг проверила насколько соответствует вводу, если не соответствует окатывает шаг назад.

попутно закралась такая мысль, что фотография или видео скоро перестанут быть, скажем, доказательствами в суде. всегда можно сказать - да подделка и как минимум нужно назначать экспертизу. причём если учесть что нейросети быстро прогрессируют, то определить подлинность будет все сложнее и сложнее.

например если в музыке по началу это была игрушка, то сейчас это вполне себе инструмент. см. заметку

с помощью этого инструмента вполне можно создавать контент. да конечно ограничения есть и они существенны, но и прогресс не стоит на месте.