Место, где теперь высится Дом офицеров, издавна принадлежало военному ведомству. Когда-то здесь проживал знаменитый военный министр граф Аракчеев. Кроме того, здесь делали кареты и притом лучшие в городе - на этом месте располагалась фабрика немецкого мастера Шварце.
На строительство было потрачено один миллион триста десять тысяч рублей, весьма крупная сумма по тем временам. Облицовочный фигурный кирпич был специально заказан за границей, а оборудование для кухни, предусматривающее подачу блюд из подвала на все шесть этажей здания, выполнила знаменитая петербургская фирма Сан-Галли.
Именно здесь впервые прозвучала военная песня «Давай закурим...» из уст Шульженко. Кстати, помните её?
Во время блокады Ленинграда в Доме Красной Армии зазвучал чудесный голос Клавдии Шульженко. Ленинградский Фронтовой джаз-ансамбль, созданный Клавдией Ивановной и её супругом, родился именно в этом здании. Он изначально и был «эстрадным ансамблем» Дома Красной Армии. Известная военная песня «Давай закурим...» была впервые исполнена Шульженко 12 июля 1942-го года здесь, на Литейном, 20.
В истории этого здания есть и печальные страницы: именно здесь проходили слушания по «Ленинградскому делу», когда в ходе репрессий пострадали многие члены городской партийной организации, а также работники Университета и музеев Ленина, Обороны Ленинграда и Революции.