коллеги из Китая выпустили работу, в которой показывают, что визуальное восприятие в мозгу связано с речью
показывают они это довольно затейливым образом: берут МРТ людей, которым показывают картинки, и векторные представления от трех моделей - CLIP (языковая модель, которая умеет понимать картинки), ResNet50 и MoCo v3 (чисто картиночные модели)
дальше сравнивают между собой попарное сходство отдельных картинок путем сравнения обработанных снимков МРТ (для людей) и эмбеддингов (для моделей), а потом ищут корреляцию между матрицами сходства (1 картинка)
так вот оказалось, что сходства, найденные CLIP, больше похожи на сходства здоровых людей (2 картинка), а картиночные модели больше похожи на сходства от людей с инсультом, при котором нарушается связь между визуальной корой и речевым центром мозга (3 картинка)
насколько данная корреляция является случайной - вопрос открытый, но если нет, то философская максима Дерриды, что "весь мир - это текст" обретает под собой физиологическую почву
