Во времена Ивана Грозного в Москве от нынешних Сокольников до Красных ворот располагался лес. Вот в этот самый лес царь частенько ездил поохотиться. Для постройки охотничьего дворца место было выбрано необычным способом. Однажды, если верить легенде, во время охоты скакавший на коне царь зацепился шапкой за ветку дерева и потерял ее. Царь поначалу разгневался и приказал вырубить все сосны на этом месте. Но после на месте вырубки повелел построить охотничий дворец (царская охота могла длиться неделями и для ночлега царя нужно было основательное здание).
Вот так вот появился Сокольничий охотничий дворец царя Ивана Грозного. Точная дата его постройки и авторы неизвестны, но по одной из версий его построили около 1550 года известные архитекторы Барма и Постник, те самые, что строили собор Василия Блаженного.
А еще тут были сооружены тайные подземные тоннели, которые соединяли охотничий дворец и Кремль, да и другие подземные ходы, которые входили к заставам. Вообще Иван Грозный любил пользоваться тайными подземными ходам. Он мог внезапно появиться там, где ему нужно, мог незаметно наблюдать за народом и слушать разговоры людей оставаясь неузнанным. В 19 веке при реконструкции здания, якобы нашли тайный ход и замуровали, но доподлинно неизвестно так это ли нет, хотя даже и не совсем доказано существование самого Сокольничего дворца именно на этом месте.
Когда Иван Грозный умер, дворец долго пустовал. Во времена правления Петра I здание переходит во владение к одному из его подвижников - барону Петру Павловичу Шафирову. Но в самом конце петровской эпохи Шафиров попал в немилость из-за обвинения в казнокрадстве, которого Петр I не терпел, и дворец был у него отобран. В 1723 году палаты были пожалованы главе Тайной Канцелярии, графу Петру Андреевичу Толстому, ведшему ранее следствие по делу царевича Алексея. Но и Петру Толстому недолго пришлось наслаждаться обладанием великолепными палатами – в 1727 году графа, находящегося в уже преклонных летах, сослали за политические интриги в Соловецкий монастырь, где он вскорости и скончался. Следующим счастливым обладателем дворца в 1727 году стал приближенный и друг светлейшего князя Александра Меньшикова, обер-секретарь Военной коллегии Алексей Волков. В том же году власть сменилась, Меньшиков был отправлен в ссылку, а его приспешник Волков лишился всего имущества, включая и недавно обретенный дворец, которым успел попользоваться всего полгода.
После опалы князя Меньшикова Петр II, внук Петра I, пришедший к власти, в 1727 году дарит владения в Большом Харитоньевском переулке петровскому сподвижнику, боевому генералу, князю Григорию Дмитриевичу Юсупову-Княжеву, производившему следствие над опальным светлейшим князем Меньшиковым.
Юсупов оказался более удачливым, чем его предшественники, и пожалованный императором дворец, бывший переходящим знаменем высочайшего благоволения царствующих особ и символом влиятельности при дворе, с этого времени и вплоть до революции 1917 года находился в собственности рода Юсуповых. Палаты стали родовым гнездом князей Юсуповых и именовались Юсуповским дворцом.