Располагался он за городом, место расположение у него говорящее само за себя - загородная балка.
Храм Всех Святых находится на бывшем городском кладбище в Загородной балке. Он был построен в 1822 году на пожертвования вице-адмирала Ф.Т. Быченского. Над жертвенником в алтаре церкви находилась медная табличка с иконой Спасителя и надписью: "Здесь погребен вице-адмирал Филипп Тимофеевич Быченский,