Исследователи из Вашингтонского университета надели на голову аляскинского маламута видеокамеру GoPro, а на лапы и хвост – датчики положения в пространстве. В такой экипировке собака приняла участие в записи 380 коротких клипов с демонстрацией поведения животного в различных ситуациях. Эти данные легли в основу программы обучения новой нейронной сети DECADE.
Для записи использовали 50 различных интерьеров: жилая комната, офис, парк, улица и т.д. Собаке отдавались простые, самые распространенные команды, она играла, гуляла и взаимодействовала с несколькими категориями людей, других собак и машин. В каждом уроке фиксировались положение конечностей в пространстве, динамика движения, звуки и визуальная картинка, чтобы ИИ мог провести связи между ними.
Главная задача для нейросети на данном этапе: ответ на вопрос «что сделает собака в конкретной ситуации». Например, будет махать хвостом на реплику «Хороший мальчик», но останется на месте. А если бросить мячик – побежит, но как именно станет огибать препятствия? DECADE демонстрируют начало сцены и нейросеть должна смоделировать ее продолжение.