В 1784 году участок приобрело Московское Дворянское (или Благородное) собрание. Дворянские собрания это органы дворянского самоуправления которые изначально занимались локальными общественными вопросами, а с учреждением земств стали заниматься только делами дворян.
Стоявшая ранее на участке усадьба была перестроена по проекту известного архитектора М. Ф. Казакова.
Новое здание включило в себя большой парадный зал, предназначенный для проведения балов и приемов, в последствии известный как Колонный зал. Зал получил свое название благодаря величественным и торжественным коринфским колоннам, расположенным вдоль стен зала.
После пожара 1812 года здание было полностью восстановлено.
В 1903 году здание было вновь перестроено по проекту архитектора А. Ф. Мейснера, но Колонный зал практически не изменился.
В январе 1924 года здесь (на тот момент здание называлось Дом Союзов) стоял гроб с телом В.И. Ленина. В дальнейшем, прощание с умершими советскими руководителями в Колонном зале стало традицией.