Фраза "Where did you go?" используется для того, чтобы спросить собеседника о месте, куда он ушел или ездил в прошлом.