На берегу озера Неро в 1389 году епископом Ростовским святителем Иаковом основан монастырь.
Он своими руками срубил небольшой деревянный храм и освятил его в честь Зачатия Пресвятой Богородицы. Вскоре возле церкви создалась небольшая община единомышленников изгнанного епископа; так возникла новая обитель.
Когда он умер его захоронение оберегалось как святыня. Его мощи покоятся под спудом в церкви Зачатия Святой Анны.
Монастырь именовался Зачатьевским (по имени главного храма, посвящённого Зачатию праведной Анны) или Иаковлевским (по имени основателя обители). Со времени основания обители (XIV век) до второй половины XVII века все постройки Зачатьевского монастыря были исключительно деревянными, ни одна из деревянных построек не сохранилась до наших дней.
Первым каменным зданием монастыря стал Троицкий, позднее в 1686 году Зачатьевский собор, построенный на месте одноимённой деревянной церкви. Собор пятиглавый, с тремя алтарными апсидами, без богатого декоративного убранства; в то время при нём была шатровая колокольня о шести колоколах. Освящал собор митрополит Ростовский Иона Сысоевич. В 1689 году собор был расписан ярославскими мастерами. Над гробницей святителя Иакова была возведена каменная сень.
В 1702—1709 годах монастырь находился под особой опекой ростовского митрополита Димитрия Ростовского. Приехавший 1 марта 1702 года в Ростов по велению Петра Первого, он был торжественно встречен в Яковлевском монастыре и сразу же отслужил благодарственный молебен в Троицком (будущем Зачатьевском) соборе. 22 апреля 1757 года состоялась канонизация святителя Дмитрия Ростовского.
В 1725 году велением ростовского епископа Георгия (Дашкова) к Троицкому собору был пристроен северный Зачатьевский придел, в XIX веке перестроенный в отдельный храм.
21 сентября 1752 году при починке церковного пола были обретены мощи святителя Димитрия Ростовского; согласно житийному повествованию, мощи и одежда святителя, не тронутые тлением, были трижды освидетельствованы церковными иерархами. 22 апреля 1757 года состоялась канонизация святителя Дмитрия Ростовского.
В 1758 году из серебра, добытого на Колыванских рудниках, по приказу императрицы Елизаветы Петровны была создана рака для мощей Димитрия Ростовского.
С 1764 года, согласно манифесту Екатерины Второй, до 1888 года монастырь числился ставропигиальным, то есть подчинённым непосредственно Святейшему синоду.
В начале XX века были освящены новые храмы внутри уже существовавших к тому времени построек. В Иаковлевской церкви в 1912 году открыт пещерный храм в честь Воскресения Христова, а в 1916 — придел в честь Ватопедской иконы Божьей Матери (последний — на пожертвования С. П. Колодкина «в вечное поминание убиенного воина Феодора»). В 1909 году в юго-западной башне открыт храм в честь Толгской иконы Божией Матери — домовая церковь настоятеля монастыря. Из этой церкви по лестнице можно было подняться на смотровую площадку башни, откуда открывалась панорама города.
В 1919 году на основании Декрета о музейном имуществе от 10 октября 1918 года Иаковлевский монастырь как памятник древнерусского искусства со всеми находящимися в нем зданиями, а также предметами церковной утвари, передан в ведение Музейного отдела Наркомпроса.
После советской эпохи 15 апреля 1991 года монастырь возвращён Русской православной церкви.