Здание, где сейчас находится мемориальный музей-лицей, было дворцовым флигелем Екатерининского дворца. Его построили в 1790-х годах для дочерей императора Павла I. По поводу авторства проекта сейчас идут споры: архитектором был либо Илья Неёлов, либо Джакомо Кваренги. В 1811 году зодчий Василий Стасов перестроил бывший флигель под нужды открывавшегося для дворянских детей Лицея. В 1811-1817 годах, среди прочих, здесь учился поэт Александр Пушкин. Его товарищами по Лицею стали будущие декабристы Иван Пущин и Вильгельм Кюхельбекер, дипломат Александр Горчаков, адмирал Фёдор Матюшков...