Первоначально Ростовский кремль представлял собой резиденцию архиереев Ростово-Ярославской епархии, поэтому в древности его называли архиерейским или митрополичьим двором. Большая часть его зданий была построена в 17 веке, в период правления митрополита Ионы. Самым ранним сооружением является Успенский собор, построенный в 1508-1512 годах на месте белокаменных храмов 12-13 века. Он же стал и самым старейшим сохранившимся зданием Ростова. Около 1682 года около собора была построена звонница, для которого московские мастера Филипп и Киприан Андреевы отлили два огромных колокола: "Полиелейный" в 1000 пудов и "Лебедь"в 500 пудов. Чуть позже, в 1688 году, мастер Флор Терентьев отлил колокол "Сысой" в 2000 пудов.
В 50-60-е годы 17 века было построно здание Судного приказа, выполнявший судебные функции и бывший центром общего управления епархией. Рядом с ним около 1670 года была возведена надвратная церковь Воскресения, оформившая главный вход в митрополичий двор - Святые ворота.
В 50-70-е годы 17 века были возведены митрополичьи хоромы, предназначавшиеся для жительства митрополита и хранения его казны. Часть помещений корпуса занимал Казенный приказ, в ведении которого были финансовые дела епархии. Рядом с митрополичьими хоромами в 70-80-годы 17 века возвели комплекс Государских хором, впоследствии названные Красной палатой. В 1675 году за митрополичьими хоромами была построена церковь Спаса Нерукотворного, позже названной Спаса на Сенях. Она являлась домашним храмом митрополита Ионы.
В 70-80-е годы 17 века постепенно были построены крепостные стены и башни митропольей резиденции. Хотя они имели бойницы для боя, никакого военного значения крепость не имела. Ее главной целью было показать величие Ростовской епархии.
В 1683 году была построена надвратная церковь Иоанна Богослова, считающейся самой совершенной постройкой кремля, наиболее нарядной и праздничной.
В 1680-е годы была построена еще одна церковь Ростовского кремля-Григория Богослова.
Последним сооружением Ростовского кремля стала церковь Одигитрии, строившаяся с 1692 по 1693 год. Ей приданы черты "московского барокко".
На этом формирование архиерейского двора в общих чертах завершилось, сложился уникальный живописный ансамбль, который, по замыслу митрополита Ионы, должен был символизировать небесный град - горний Иерусалим.