С 1472г. на этой земле располагался почтовый двор, с 1556г. - Сытный отдаточный двор. В период с 1599г. по 1699г. на его месте находился Земский приказ - центральное государственное учреждение 16-17вв., ведавшее управлением Москвой (сбор налогов, судебные разбирательства, руководство ярыжным (одна из категорий тяглового населения в 16-17вв.) отрядом.), охраной порядка в Москве и некоторых других городах.
3 ноября 1699г. Земский приказ был расформирован, а его дела были переданы в Стрелецкий и Судный приказы. В 1700г. по поручению Петра 1 вместо деревянного здания была построена каменная Бурмистрская палата (русский аналог европейской Ратуши, просуществовала до 1720г.). До пожара 1737г. в ней располагались Главная аптека и медицинская канцелярия. Вход украшала каменная голова единорога с настоящим рогом нарвала, приёмный зал был расписан фресками. Шпиль центральной башни венчал двуглавый орёл.
Указом императрицы Елизаветы Петровны от 8 августа 1754г. дом был передан учреждаемому Имп