Окей, раз уж мы разобрались подробно, что удивительного умеют делать текстовые нейросети – то чем нас могут удивить модели, которые работают с изображениями? Хм-м, даже не знаю – как насчет чтения мыслей?
Идея здесь такая: ученые уже раньше пробовали засовывать людей головой в fMRI-сканеры, показывать им всякое разное на экране – а параллельно записывать со сканера данные о том, какие изменения происходят у них в мозгу. Натренированную на таком наборе данных нейросетку уже давно научили генерировать из данных со сканера очень грубую, очень мутно-расплывчатую версию того, что могли бы видеть люди в этот момент – выглядело это примерно так же, как видел бы пьяный человек со зрением –10 без очков (ну то есть – плоховато, какие-то мутные очертания в основном).
А тут, значит, выяснили, что если всё это заполировать сверху прогоном через обычную нейросетку Stable Diffusion (ну, на самом деле, через еще одну промежуточную модель, которая генерирует специальный запрос уже к Stable Diffusion) – то можно получать изображения в высоком разрешении, которые довольно сильно похожи на оригинал (который нейросеть не видела – она смотрит только на данные со сканера fMRI). Прикольно, да?
Можно сказать, что Stable Diffusion здесь реконструирует изображение по очень нечетким наметкам – примерно так же, как человек, вспоминая какие-то давние воспоминания, в каком-то смысле частично перепридумывает их с нуля (а не достает из закромов мозга точный файл с воспоминаниями).
Если бы fMRI-сканеры не были такими громоздкими, неудобными и дорогими – то было бы страшновато, если честно. Повесили бы такой сканер в метро – и давай у всех пассажиров мысли сканировать! А ну как они что-нибудь крамольное там себе представляют?!
Если заметка была вам интересна, то еще больше интересного и полезного про финансы я пишу в ТГ-канале RationalAnswer.