Так в XIX веке называли людей без определенного рода деятельности, а порой и просто маленьких или забытых людей, которые кое-как кормятся какими-нибудь случайными и никому не нужными делами. Русские писатели часто использовали этот фразеологизм.
Дедушке было над чем и над кем повластвовать, и он понимал себя в этом отношении не пятым колесом в колеснице и не отставным козы барабанщиком.
М.Е.Салтыков-Щедрин. Дневник провинциала.
Он со своим стареньким истрепанным «знаменем», которое он высоко держал, представлялся уже чем-то вроде отставного козы барабанщика.
М.Е.Салтыков-Щедрин. Сборник. Старческое горе.
Ну, там отопрут без меня; я теперь не при должности — отставной козы барабанщик — не мое дело...
А.Н.Островский. Невольницы.
Откуда же появилось это шуточное определение? Существует такое объяснение.
До самой революции в глуши можно было узреть бродячую труппу или нищих: поводыря с ученым медведем, показывавшим разнообразные «штуки», или «козу» — человека, на голову которого укрепляли грубое подобие козьей головы из мешка, и «барабанщика», чаще всего из отставных солдат, которые барабанным боем призывали «публику» на зрелище.
Мне же кажется более убедительным другая версия происхождения фразеологизма — языческая.
Каждую осень в деревнях отмечался праздник сбора урожая. Толпа ряженых проходила по главной улице, неся сделанных из остьев и соломы животных, в основном домашних — коз, овец, коров. Возглавлял процессию, как правило, мальчик с бубном или барабаном. Это было сигналом к началу праздника — деревенские присоединялись к ряженым, уходили за околицу, где чучела животных сжигались. Ну, а потом начинались пляски и прыжки через костер.
Мальчик, который шел впереди с бубном и есть отставной козы барабанщик.
Только раньше его называли осто́вной (то есть сделанной из остьев) козы барабанщик. С течением веков слово во фразе было заменено на более понятное и удобное. И изначальный смысл потерялся.
____________________
К сожалению, источника указать не могу. Мне лет 30 назад пересказал это толкование приятель, которое он где-то вычитал (где именно, теперь не помнит).