Ученые Университета Дьюка представили 3D-RAPID — вычислительный микроскоп, основанный на синхронизированном массиве из 54 камер. Он снимает высокоскоростные топографические 3D-видео на площади 135 кв. см, достигая до 230 кадров в секунду при пространственно-временной пропускной способности, превышающей 5 гигапикселей в секунду.
Этот микроскоп использует алгоритм трехмерной реконструкции, который для каждого синхронизированного снимка объединяет все 54 изображения в композицию, включающую совместно зарегистрированную трехмерную карту высот. Алгоритм 3D-реконструкции с самоконтролем обучает нейросеть отображать необработанные фотометрические изображения в трехмерную топографию.
«Мы демонстрируем широкую применимость 3D-RAPID на нескольких коллекциях свободно ведущих себя организмов: муравьи, дрозофилы и личинки рыбок данио», — говорят ученые.
«Это похоже на человеческое зрение, — уточняет Рорк Хорстмейер, доцент биомедицинской инженерии в Университете Дьюка. — Если вы объединяете несколько точек обзора вместе (как это делают два глаза), вы видите объекты под разными углами, что дает вам высоту. Когда наши коллеги, изучающие рыбок данио, впервые использовали его [микроскоп], они были поражены. Он сразу же выявил новое поведение, связанное с высотой тона и глубиной, которого они никогда раньше не видели».
Микроскоп нового типа имеет один весомый минус: за несколько минут записи может быть получено более терабайта данных. Это чрезвычайно большой набор видеоданных, для обработки которых пришлось разработать новые алгоритмы.
«Наши алгоритмы объединяют физику с машинным обучением, чтобы объединять видеопотоки со всех камер и восстанавливать трехмерную поведенческую информацию в пространстве и времени. Мы сделали наш код открытым и опубликовали его на Github, чтобы каждый мог его опробовать», — заключает специалист. Ссылку оставляем тут.
Посмотрите на лучшие изобретения и гаджеты 2022 года по версии Time:
