С момента основания в начале XVIII века и до 1844 года санкт-петербургское Адмиралтейство являлось не только местом расположения центральных органов управления военно-морским флотом, но и верфью.
В 1844 году верфь перенесли, а освободившееся пространство стали распродавать под застройку. К началу XX века здесь возник ансамбль Адмиралтейской набережной, преимущественно в стиле классицизма и неоренессанса.
Однако нашлось одно исключение. К 1887 году рядом с восточным павильоном Адмиралтейства был выстроен пятиэтажный доходный дом с театром в неорусском стиле.
Споры о нём начались ещё при планировании здания. Первоначальный проект оказался выше Зимнего дворца, так что его пришлось переработать. При этом застройщик — действительный статский советник в отставке, инженер-путеец Валериан Панаев, принципиально настоял на вычурном неорусском стиле, который в архитектурном сообществе считали уродующим весь близлежащий ансамбль. Впрочем, частный собственник был в своём праве, так что Адмиралтейская набережная вопреки протестам оказалась «украшена» такой громадой, от которой многие продолжали плеваться.
В процессе стройки Панаев разорился и продал обременительный актив, хотя достроенное здание, несмотря на регулярную смену собственников, всё равно в обиходе продолжали именовать «Панаевским театром».
В 1914 году с началом Первой мировой войны театр был реквизирован в качестве военно-полевой почтовой конторы. В сентябре 1917 года здесь случился пожар, который фактически уничтожил здание. Разбор руин продолжался вплоть до 1925 года.
В конце 1950-х годов на пустыре была построена школа и разбит сквер, и теперь о бывшем скандальном здании в центре имперского Петербурга напоминают лишь старые фотографии.