Пустынь расположена на берегу живописного Игуменского озера в 2,5 километрах к востоку от монастыря. Святитель Филипп, будучи игуменом, любил удаляться сюда для уединенной молитвы и отдыха. Считается, что здесь перед избранием Филиппа митрополитом Московским и всея Руси во время молитвы ему явился Иисус Христос в терновом венце и оковах, и на месте видения брызнули из земли струи чистой ключевой воды. Игумен Филипп собственноручно углубил источник и поставил над ним деревянную часовню, в которую поместил изготовленный им деревянный образ Иисуса Христа.
В 1854 году в пустыни был построен храм в честь иконы Божией Матери «Живоносный Источник». В нем хранились резное изображение Христа и камень, служивший Филиппу возглавием вместо подушки. Колодец с водой, выкопанный святителем, находился в храме перед солеей. По сторонам церкви были поставлены колокольня и беседка одинаковой формы. Во второй половине XIX века был построен и каменный келейный корпус для проживания немногочисленной братии