Исследователи из Университета штата Юта предлагают использовать домашних животных-роботов для восстановления памяти пожилых людей с деменцией. Их уже успешно протестировали с пациентами в возрасте 82-87 лет с серьезными когнитивными нарушениями и проживающих в учреждениях длительного ухода.
В таких учреждениях часто нельзя содержать домашних животных — они могут нанести травму пациенту или вызвать аллергию. А роботов-животных держать можно. Кроме того, робота можно «подстроить» под пациента (например, будет ли он часто мяукать/лаять или, напротив, будет вести себя тихо).
Тем временем ученые из Калифорнийского университета Беркли разработали алгоритм, который позволяет роботу начать учиться и действовать в реальном мире без предварительного обучения в цифровой симуляции. Алгоритм протестирован на разных моделях роботов и на нескольких конкретных задачах. Но цель команды гораздо амбициознее: научить робота искать решение задач, которые ему никто не ставил.
Система обучения, разработанная учеными из Беркли, не связана с конкретной реализацией самого робота. Алгоритм обучения действует «по петле» без использования цифровых симуляторов. Данный процесс осуществляется поэтапно и циклично. Сначала взаимодействие с реальным миром (Real World) добавляется в буфер (Replay Buffer), в котором хранится весь прошлый опыт. Модель мира (World model) обучается на последовательностях, взятых из буфера случайным образом. Поведение обучается на предсказаниях модели мира с использованием алгоритма «актор-критик» (Actor Critic). Текущее поведение используется для получения нового опыта. Петля обучения замыкается.