Это представляет ценную информацию о том, как нейронные сети изучают контекст.
Создание цифровой визуализации и редактирование изображений может занять несколько часов, но исследователи из MIT и IBM хотят изменить это. Они обучили ИИ генерировать фотографические изображения с нуля и редактировать объекты внутри них. Это может быть полезно для художников и дизайнеров, но также дает представление о том, как нейронные сети изучают контекст, и команда надеется использовать инструмент для выявления поддельных или измененных изображений.
Инструмент назван GANpaint Studio и доступен в виде бесплатной демоверсии. Вместо того, чтобы вручную добавлять дерево к изображению, вы можете указать, где вы хотите разместить объект, и решение добавит дерево, соответствующее сцене. Вы также можете стирать объекты, например, табуретки с изображения кухни. Решение все еще в стадии разработки, но команда надеется, что GANpaint Studio однажды будет способно отредактировать видео. Если, например, какой-то объект не попал в кадр, редакторы могли бы использовать ИИ, чтобы добавить ее позже.
Когда создавали GANpaint Studios, исследователи были удивлены, обнаружив, что система выявила простые правила об отношениях между объектами - например, дверь не принадлежит небу. Поскольку GANpaint Studio использует GAN - набор нейронных сетей, разработанных для конкуренции друг с другом, - ей нужно раскрывать свои внутренние аргументы для принятия решений, таких как предотвращение появления облака в траве. Это понимание может помочь исследователям лучше понять, как нейронные сети изучают контекст.
GANpaint Studio позволяет легко создавать поддельные изображения, а также может помочь ученым-программистам научиться их обнаруживать. «Вы должны знать своего противника, прежде чем сможете защититься от него», - сказал Цзюнь-Ян Чжу, который является соавтором статьи об инструменте. Исследователи представят свои работы на конференции в следующем месяце.
