О, сколь от нас открытий чудных
скрывает
безмятежный сон.
Умные устройства довольно основательно вошли в обиход. Вы можете попросить их включить сплит-систему, чайник, телевизор… А как насчёт команды «покажи мой сон о рыбалке на прошлой неделе»?
Не так давно проскакивали новости об успешном воссоздании текста и даже изображений из данных, полученных в результате МРТ-фиксации активности мозга. Например, исследование, проведённое в Техасе, выявило, что ИИ может уже не просто понять, что испытуемый о чём-то думает, но и «прочитать» его мысли с некоторой конкретикой. Воплощение в статическом изображении интерпретации визуальных образов – тоже не простая задачка, которая тоже уже решается, и довольно успешно.
Однако, по словам Цзясинь Цин, одного из авторов нового исследования, сегодня получение непрерывных визуальных изображений ‒ то есть видеоряд ‒ представляет собой особую проблему.
И тем не менее, его команда на прошлой неделе сообщила о разработке процесса, способного генерировать видео по данным сканирования мозга. Используя ту же процедуру функциональной магнитно-резонансной томографии (фМРТ), Цзясинь Цин, Цзыцзяо Чен и Хуан Хелен Чжоу объединили данные, полученные с помощью изображений, с моделью глубокого обучения «Стабильная диффузия» для создания плавных видео высокого качества.
Трудность крылась в самом процессе фМРТ: он слишком медленный. При стандартной скорости захвата видео в 30 кадров в секунду, его темп ‒ одно изображение в несколько секунд. Для того, чтобы нивелировать отставание в «частоте кадров», команда решила обучить нейросеть выстраивать плавные переходы между редкими снимками фМРТ. Результатом разработки стали высококачественные (в плане разрешения изображения) видеоролики с некоторым движением и динамикой сцены. Но самое интересное, что точность видео-интерпретации составила 85%.
Цин считает, что такой итог открывает перспективы для невероятного богатства применений этой разработки и подобных ей будущих больших моделей везде и всюду ‒ «от нейронауки до интерфейсов мозг-компьютер».
«Это похоже на первые годы космической гонки, ‒ говорит Дэниел Олдис, исследователь сновидений из Лаборатории когнитивной неврологии Техасского университета в Остине, разрабатывающий свою технологию МРТ для отслеживания мозговой активности и нервных импульсов в мышцах для определения образов, речи и движений во сне. ‒ Но в этом случае мы отправляемся в пространство мечты».
По материалам АРМК.