Этот дворец, возведенный по приказу Ивана III во второй половине XV столетия, был двухэтажным, на каждом этаже размещалось по 124 комнаты. Как и все богатые постройки того времени, Воробьёвский дворец имел два яруса: жилым был только второй ярус с повалушами, в котором находились также и великокняжеские опочивальни, первый же использовался исключительно как склад для оружия, конской упряжи, одежды и проч. Известно, что дворец стоял на каменном фундаменте.
Больше других эту загородную резиденцию любил князь Василий III – он приложил значитеьные усилия для укрепления и украшения дворца. С Василием III и Воробьевским дворцом связана одна любопытная история. Вплоть до присоединения Крыма императрицей Екатериной II татарские набеги на Русские земли случались практически каждый год. В 1521 году при внезапном нападении на Москву крымского хана Менгли-Гирея один из передовых татарских отрядов занял великокняжеское село Воробьёво и вступил в Воробьёвский дворец, в котором в этот момент находился Василий III. Ничего не подозревающие татары разграбили Воробьёвский дворец и все дворцовые погреба, но великого князя, укрывшегося тогда в стоге сена, они не нашли.
С Воробьевским дворцом были связаны и последние дни жизни великого князя. В 1533 году, за несколько дней до своей смерти, тяжелобольной Василий III, возвращаясь с охоты под Волоколамском, приказал остановиться в Воробьёвском дворце. Там он, жестоко страдая, понимая, что ему не выжить, написал завещание, призвал митрополита Даниила, нескольких бояр и просил их признать наследником престола трёхлетнего сына Ивана. 3 декабря 1533 года, приняв предварительно схиму, умер от заражения крови
