Борис Громов родился 7 ноября 1943 года в Саратове, семье военнослужащих. Его отец, Всеволод Громов погиб на фронте в 1943 году. В 12 лет, в 1955 году, по примеру своего родного дяди и вслед за старшим братом Борис Громов поступил в Саратовское суворовское военное училище.
Учился в Ленинградском общевойсковом командном училище, затем направлен в Прибалтийский военный округ. Службу начал командиром взвода, а затем стал командиром роты мотострелковой дивизии. Военную академию имени Фрунзе окончил её с отличием. Звания майор, подполковник и полковник получил досрочно.
С 1982 по 1984 учился в Военной академии Генерального штаба Вооружённых Сил СССР имени Ворошилова, окончил с золотой медалью. В 40 лет получил воинское звание "генерал-майора". Во время войны в Афганистане трижды проходил службу в частях Ограниченного контингента Советских войск.
В 1988 году за разработку и успешное проведение операции "Магистраль" (по снятию блокады с осажденного афганскими повстанцами Хоста) Бор