Ещё в 1758 году в Казани была учреждена первая в России провинциальная гимназия, на тот момент филиал Московского университета. В 1804 году, после открытия Казанского Императорского Университета, казанское общество имело потребность обучать своих отпрысков в светских образовательных учреждениях, и Первая мужская гимназия перестала справляться с потоком желающих учиться. К этому времени, к 30-м годам XIX века, как раз подоспели реформа образования и новый университетский устав, что потребовало реорганизации всей системы образования, в том числе и средних учебных заведений. Казанское главное народное училище становится уездным, а попечитель Казанского учебного округа Михаил Мусин-Пушкин, открывает Вторую мужскую гимназию, на пост директора которой назначается бывший глава Казанского народного училища Михаил Львов. Первоначально для Второй мужской гимназии был снят дом директора Университета на Большой Проломной (нынче там здание Госбанка), однако спустя 3 года после открытия, в 1838 году