Были в его жизни и годы запустения, было и время расцвета, когда он становился одной из богатейших и привилегированных обителей Руси.
В эпоху Великой смуты он был захвачен и разграблен польскими войсками, которыми руководил гетман Ходкевич.
На протяжении нескольких последующих лет здесь царило запустение. Восстановили обитель Романовы: цари Михаил Фёдорович и Алексей Михайлович. С этого времени