У западной оконечности исторической части города Рыльска, к востоку от пересечения улиц Луначарского и Володарского расположено примечательное религиозное сооружение, именуемое в обиходе «Готической церковью» либо «Больничной часовней».
Данное строение расположено в квартале, ограниченном с юга – улицей Луначарского (бывшей Вознесенской), с запада – улицей Володарского (бывшей Полевой), с севера – улицей Карла Либкнехта (бывшей Выходцевской), с востока – улицей Урицкого (бывшей Глуховской).
Указанное сооружение является часовней иконы Божией Матери «Всех скорбящих Радость». Часовня была построена в 1913 г., а начала действовать, как свидетельствуют источники, только с 28 октября 1915 г. (на что была получена резолюция церковного иерарха). Она возводилась около находившейся в то время рядом больницы (как прибольничная церковь), за что и получила одно из своих наименований. Больницы уже давно не существует, зато в непосредственной близости функционирует заводское предприятие.
Часовня была построена в стиле эклектики и имела нарядную отделку, дополненную наружным навесом над папертями на фигурных литых стойках и крышей кузнечной работы. Над куполом часовни был воздвигнут небольшой шпиль с позолоченным шаром и крестом.
В советский период часовня была закрыта. На рубеже XX-XXI вв. культовое сооружение было возвращено в церковное ведение в полуразрушенном состоянии. В начале XXI в. часовня еще продолжала стоять без шпиля и купола, облицовки и существенной части декора. Ее стены продолжали разрушаться, а двери были заколочены. Лишь южный фасад часовни выступал фактически на красную линию улицы Луначарского, а остальные – были скрыты за прилегающим непосредственно к сооружению бетонным забором предприятия. Строение никак не эксплуатировалось.
В 2015 г., в конечном счете, была начала реставрация дореволюционной часовни, проводимая силами прихожан. В 2019 г. в ней был установлен новый иконостас. К настоящему времени были отремонтированы несущие стены строения, настелена новая кровля. Восстановлен декор фасадов: пилястры, балясины, резное обрамление под карнизами, арочные порталы над входами и т. п. Снаружи часовня была покрашена в яркий голубой цвет, а элементы декора были побелены. Сооружение было увенчано башенкой с луковичным золоченым куполом и крестом.
На сегодняшний день часовня иконы Божией Матери «Всех скорбящих Радость» является одним из архитектурных украшений западной части исторического центра города, эффектно выделяясь среди окружающих ее зданий малоэтажной жилой застройки.