Как вы могли догадаться, название происходит от фамилий ее основателей, коим являются Джинжер Бакер и братья Пол и Андриан Гурвицы. Судьба их свела в далеком 1974 году, когда они встретились в лондонском клубе Speakeasy, после того, как их сольные проекты не увенчались успехом. Джинжер тогда распустил свою группу Airforce, а братья со своим проектом Three Man Army, записав четыре альбома, так и не вышли за рамки рок-андеграунда. Они решили объединить свои усилия для совместного проекта, который и получил название Baker Gurvitz Army.
В том же году они выпустили дебютный студийный альбом с одноименным названием, получился достаточно интересным по содержанию и по звучанию. На следующий год последовал выход второго альбома, в записи которого приняли участие вокалист Стив "Снипс" Парсонсом, ранее игравший в "Sharks", и клавишник Питер Лемер, до того игравший в "Seventh Wave". А в 1976 году вышел третий студийный альбом, получивший название Hearts On Fire.
Альбом имеет очень насыщенный диапазон звучания, в котором блюз роковые номера сменяются фанком, а иногда даже уходят в диско и поп-рок. Прекрасный экземпляр настоящего разнообразия рока середины 70-х годов. Но, к сожалению, он стал заключительным в трилогии коллектива, так как в автокатастрофе погиб их менеджер Билл Фехилли. Он был единственным человеком, который стоял между бунтарским характером Бейкера и братьями Гурвиц, не давая им ссорится между собой. Только благодаря ему они смогли дотянуть до записи третьего альбома, так как повода прекратить свое существование еще в самом начали у них было предостаточно, но Биллу всегда удавалось их примирить.