Всё началось в 1920 году. В станице Уманской Краснодарского края профессором А.Я. Белогородцевым был создан детский оркестр. В нём играли на различных инструментах сыны полка им. Д.П. Жлобы и дети станичной бедноты. В 1926 году детский дом-оркестр был переведён в г. Ростов-на-Дону секретарем крайкома А.И. Микояном. Тогда это учебное заведение называлось «Музыкальный детский дом им. Д.П. Жлобы». В 1940 году на его базе открылась школа военно-музыкантских воспитанников Красной Армии. Первым начальником школы был назначен подполковник Банк Л.Н. В 1956 году учебное заведение передаётся в ведение Министерства просвещения РСФСР, но продолжает готовить музыкальные кадры для военных оркестров. В разные годы в ШМВ преподавали прекрасные учителя, например, такие, как дирижер оркестрового класса Димитров И.Д., отличник народного образования, кларнетист Осокин В.П., валторнист Дубовик Л.Л., дирижёр Грицавко М.И. В школе учили детей легендарные кларнетисты Трибух М.А. и Лавриков В.Н. Ныне в ШМВ ра