Группа японских исследователей из Осаки использовала нейросеть Stable Diffusion для создания изображений с помощью МРТ-сканирования при вводе данных. Полученные результаты просто рвут шаблоны.
Исследовательская группа представила испытуемым набор изображений и провела фМРТ (функциональную магнитно-резонансную томографию) сканирование мозга испытуемых, пока они концентрировались на изображении.
Конечное изображение представляет собой кульминацию множества частей, включая уже существовавший вывод изображений фМРТ и семантический декодер.
Однако добавление Stable Diffusion, как видно на фото, делает генерируемые изображения более соответствующими исходным.
Крайнее левое изображение - исходный источник, а крайнее правое - результат работы нейросети Stable Diffusion, семантического декодера и формирования изображений фМРТ. Колонка z представляет «латентный вектор», полученный из визуализации, а c - «кондиционирующий вход», полученный из текста.
Несмотря на то, что статья еще не прошла рецензирование, в ней уже есть некоторые дыры. По крайней мере, один человек указал на то, что использование семантического декодирования делает основную работу. Они также подразумевают, что использование текста в качестве части подсказки подрывает подлинность конечного результата.
Семантическое декодирование существует по крайней мере с 2016 года. Поэтому остается открытым вопрос подлинности данного «открытия». Вполне возможно, это продолжение развития давно известных технологий.
Подробности:
