Boston Dynamics использовала популярного чат-бота ChatGPT от OpenAI, а также некоторые другие языковые модели с открытым исходным кодом (LLM) для обучения своего роботизированного пса человеческой речи. Теперь Spot проводит экскурсию по помещениям компании, отвечая на вопросы туристов.
Команда предоставила Spot очень краткий сценарий для каждой комнаты на своих объектах. Затем бот объединил этот сценарий с изображениями, которые он получает со своих камер, что позволило ему получить больше информации о том, что он видит, прежде чем сгенерировать ответ. По данным компании, Spot использует модели визуальных ответов на вопросы для описания изображений и ответов на вопросы о них.
Также Spot оснастили динамиком для преобразования текста в речь, а его «ротовое отверстие» синхронизировали с произносимыми фразами. Робопёс выступил в роли экскурсовода и смог описать окружающую его обстановку. Однако вместе с тем произошли очень неожиданные вещи, которым его никто не обучал. Например, когда у него спросили, кто его родители, робот вдруг подошёл к стоящим рядом стареньким роботам и указал на них.