Каменная церковь Всех Святых (Всесвятская) была построена в 1837 году по данным рязанского Государственного архива.
Ранее на этом месте стояла деревянная церковь, построенная в 1773 году в память об избавлении от моровой язвы.
Каменная церковь с теплой трапезной построена на средства благотворителей, стараниями местного священника Федора Лебедева и священника соборной церкви Иоанникеева.
Своего прихода кладбищенская церковь не имела, и была приписана к Преображенской церкви, воздвигнутой в 1748 году.
В ней было три престола: Всех Святых, Иоанна Предтечи и Сергия Радонежского.
При церкви было две богадельни для больных и престарелых: мужская и женская, содержащиеся на средства городского благотворительного комитета. В них проживало около 20 человек.
В 1909 году в церкви Всех Святых служил священник Григорий Львов в возрасте 34-х лет.
После революции церковь была закрыта и постепенно разрушалась.
Разрушались и церковные богадельни.
Помню, мы с дедушкой ходили покупать керосин, который продавался возле церкви. А рядом с церковью на крыльце полуразрушенного дома всегда сидела женщина с проваленным носом. Она была последним жильцом тем богаделен.
В конце 80-х годов прошлого века церковь вновь начала действовать. Священником в эти годы был неординарный человек о. Анатолий (Культинов).
Церковь только-только начали ремонтировать, в ней было холодно, и о. Анатолий никому не отказывал, если его приглашали покрестить детей дома. На Рождество он в метель выступал на площади - как Ленин, с грузовика. Он "зажигал" людей своей верой, его слушали и неверующие с интересом.
Впоследствии о. Анатолий переведен в Кадом, а затем принял постриг на Афоне и стал архимандритом Афанасием.
Сейчас старец отец Афанасий - настоятель Милостиво-Богородицкого женского монастыря в Кадоме, к нему за помощью и советом едут люди не только из России. Чтобы исцелиться от болезней, как телесных, так и душевных, получить мудрые советы, почувствовать любовь, покой исходящие от него, написать записочки, чтобы он помолился, ибо молитвы его сильны. По его молитвам Господь исцеляет и дарует детей супружеским парам.
Здание церкви Всех Святых в Елатьме теперь капитально отремонтировано, в храме регулярно идет служба.
Жителями Елатьмы были собраны средства на отливку колоколов для церкви.
И 26 июля 2013 года в храме Всех Святых состоялось знаменательное событие - освящение и водружение колоколов.
