Монастырь основан при поддержке Дмитрия Донского в 1371 г. Далее имел протекцию Ивана III. В 1493 использовался как место ссылки для угличских княжичей. В 1542 г. начали возводить каменные постройки.
С 1612 по 1619 гг. на монастырь был совершен ряд нападений. Он был разграблен и сожжен. В XVIII в. монастырь стал одним из самых богатых на Русском Севере - торговал солью.
В 1918 г. монастырь заняли красноармейцы и его помещения использовались под склады взрывчатки и монастырь чуть не взорвался во время очередного пожара.
В 1930-х здесь была пересыльная тюрьма для раскулаченных. С 1950-х по 1970-е - опять военные склады, кинотеатр, дом инвалидов. В то же время провели историческую реставрацию. В 1979 г. здесь открылся филиал Вологодского государственного музея.
Только в 1992 г. монастырь вернули церкви.