Известно это выражение с XIX века. Предполагается, что это перевод соответствующих выражений в европейских языках. В английском языке есть фраза it is his hobby horse (это его любимая лошадка), во французском нечто похожее - c est son dada. По предположениям языковедов, впервые выражение hobby horse употребил писатель Стерн в романе "Сентиментальное путешествие".