Ученые из Гарвардского и Дьюкского университетов представили новую технология по наблюдению за животными. Благодаря отслеживанию и анализу движений, метод позволяет выявлять поведенческие паттерны и лучше понимать связь между ними. Сейчас разберемся, как им удалось это реализовать и какое перспективы у этой технологии.
Введение
В основе работы метода лежит база данных Rat 7M движений крыс. Каждая из конечностей и частей тела маркируется своим цветом, что позволяет распознавать и разграничивать даже самые похожие действия. Реализовано это с помощью модульной архитектуры DANNCE на основе 3D свёрточной трехмерной нейронной сети.
Данная технология дает огромные возможности по изучении самых разных животных и отслеживания их физического состояния. Например, если у вашего питомца проявляются нарушения функций двигательной системы. Благодаря этому можно выявлять проблемы со здоровьем и планировать эффективные способы лечения.
Актуальность
Поведение и движения животных запрограммирован и для их изучения требуются точные трехмерные измерения.
До недавних пор существовали только технологии на основе двумерных свёрточных нейронных сетей. Проблема заключается в том, что 2D свёрточные сети не понимают позы животных в трехмерном пространстве. Как следствие ощутимо снижается точность прогнозов и общая оценка действий.
Новая работа является продолжением исследования мониторинга поведения CAPTURE – система детектирует движения 24/7 и позволяет создать «атлас поведения».
Альтернативным подходом к изучению моторики и поведения в целом можно назвать чипирование. Так, например, еще в 2020 году Илон Маск продемонстрировал работу этого метода на живой свиньей. В ее мозг был имплантирован небольшой чип, который считывал нейронные связи и мог предсказывать траекторию движений подопытного.
Несмотря на фундаментальные отличия этих двух подходов, мы можем с уверенностью сказать, что их одновременное использование позволило бы ученым делать более точные выводы и получать больше полезной информации.
Подробнее о технологии
Работа началась со сбора данных и создания датасета. Ученые собрали 7 миллионов кадров действий крыс и синхронизировали цветное видео с помощью метода «захват движения».
Адаптация захвата движения к действиям животных происходила с помощью прикрепления маркеров к телу крысы. Трехмерную запись осуществляли 12 камер захвата движения и 6 цветных видеокамер.
DANNCE по своей сущности – трехмерная свёрточная нейронная сеть, которая вычисляет трехмерные позиции определяемых пользователем анатомических ориентиров. Благодаря использованию нескольких камер, исследователям удалось воссоздать более точную модель поведения и выявлять определенные корреляции между причинами и следствиями различных движений млекопитающего.
К тому же система сработала даже на крысах, у которых не было маркеров захваты движений. Технология может отслеживать движения всего лишь на нескольких дополнительных примерах.
Заключение
Инструмент способен свободно зафиксировать поведение животного в движении в сложной окружающей среде и точно восстановить его трехмерную позу с нескольких видеокамер и без маркеров.
Технологию возможно адаптировать под другие виды животных. DANNCE предоставляется сообществу как пакет Python с открытым исходным кодом вместе с графическим пользовательским интерфейсом для маркировки 3D данных.
Другие наши статьи: