Так в XIX веке называли людей без определенного рода деятельности, а порой и просто маленьких или забытых людей, которые кое-как кормятся какими-нибудь случайными и никому не нужными делами. Русские писатели часто использовали этот фразеологизм. Дедушке было над чем и над кем повластвовать, и он понимал себя в этом отношении не пятым колесом в колеснице и не отставным козы барабанщиком. М.Е.Салтыков-Щедрин. Дневник провинциала. Он со своим стареньким истрепанным «знаменем», которое он высоко держал, представлялся уже чем-то вроде отставного козы барабанщика...