Сведения о жизни Иоанна скудны, неизвестно как и когда он пришёл в Ростов, возможно, из Германии. Неся подвиг юродства, Иоанн ходил в ветхой одежде, имел «власы на главе велики», потому и назывался «власатым», он не имел постоянного пристанища и только иногда заходил для отдыха к одной благочестивой вдове или к своему духовному отцу, всехсвятскому священнику Петру. Беседовал со знаменитым Борисоглебским подвижником святым Иринархом Ростовским, так же с блаженным юродивым Иоанном, по прозванию Большой Колпак, ушедшего потом в Москву и погребенный у Покрова на Рву. Блаженный Иоанн Ростовский всегда носил с собою и читал Псалтирь на латинском языке.
Умер в Ростове 3 сентября 1581 года. Стараниями вдовы и духовного отца его священника Петра, тело было погребено подле церкви святаго Власия за алтарем. Погребение сопровождалось знамениями: поднялась сильная буря, засверкали молнии и загремел гром. Своё прозвание «милостивый» получил от исцелений, которые, по мнению верующих, происходили от его мощей, а также в память святого Иоанна Милостивого, патриарха Александрийского, чьё имя носил ростовский святой.
При гробе блаженного Иоанна совершалось много чудесных исцелений с верою притекавших больных. Многие приходили к его гробу, просили святить воду - пили ее, смешивая с песком от гробницы блаженного Иоанна, иные мазали ею свое болящее тело и по своей вере получали исцеление от различных болезней.
Так митрополит Кирилл тяжело заболел, отнялась рука и нога, слыша про чудеса повелел нести себя во Власьевскую церковь к образу святаго Иоанна и ко гробу блаженного Иоанна Власатого. Во время молебна, при чтении святаго Евангелия, больной святитель сразу почувствовал исцеление от болезни, стал владеть рукою, так что получил возможность вновь священнодействовать и править Ростовскою митрополиею, и прожил еще год и пять месяцев.
Храм Иоанна Милостивого не закрывался и при советской власти. В настоящее время мощи блаженного Иоанна почивают под спудом за левым клиросом в каменной церкви Толгской иконы Божией Матери с приделом во имя святаго Иоанна Предтечи и священномученика Власия, построенной в XVIII столетии, рядом с ракой находятся псалтырь и кипарисовый крест, принадлежавшие преподобному.
Почитается в Православной церкви как чудотворец, память совершается (по юлианскому календарю): 3 сентября, 12 ноября и 23 мая (Собор Ростовских святых).