Церковь Вознесения Господня находится в историческом центре Рыльска, в юго-восточной части пересечения улиц Ленина (бывшая улица Преображенская) и Луначарского (бывшая улица Вознесенская).
История прихода этого рыльского храма уходит вглубь веков. По состоянию на начало XVIII в. в городе существовала старая деревянная Вознесенская церковь. В 1704 г. купец Герасим Киприянович Шелехов (перешедший из пушкарей в купечество в 1678 г.), будучи уже в преклонном возрасте, решил построить новую – каменную, о чем составил челобитную государю Петру I. Окончание строительства каменной церкви во имя Вознесения Господня и ее освящение пришлось на 1709 г.; в ней Герасим Киприянович стал ктитором (старостой).
Историческое церковное место находилось на 80 метров ниже того места, где расположено сохранившееся до наших дней здание храма.
Существующее строение «Церкви Вознесения» с шатровой колокольней было возведено в 1866 г. в стиле эклектики; архитектором, создавшим данное культовое сооружение, предположительно, выступил Эдуард Карлович Левенштерн (1838-1904). По записям из клировых ведомостей церкви известно, что она возводилась «тщанием» купцов Ивана Стефановича Деменкова и Никифора Гавриловича Каменева, а также «на проценты со вклада коммерции советника Григория Ивановича Шелехова» (то есть на проценты от акций Российско-Американской компании, организация которой, в частности, была связана с именем прославленного уроженца Рыльска – мореплавателя Г.И. Шелехова) и на пожертвования иных благотворителей.
По состоянию на 1908 г., по сведениям из дореволюционного справочника, в Вознесенской церкви служили протоиерей В.М. Феофилов, диакон И.В. Арбузов и псаломщик Г.Н. Аушев; церкви принадлежало 110 десятин полевой земли, а в приходе действовала церковно-приходская женская школа.
Начиная с 1930-х гг. здание храма использовалось под складские помещения (в первой половине 1940-х гг. – ненадолго открывалось для верующих). В 1985 г. было принято решение реконструировать церковь Вознесения (и произведен частичный ремонт кровли и фасадов), с целью последующего открытия в ее стенах картинной галереи.
Однако в октябре 1990 г. Вознесенская церковь была передана в ведение РПЦ, а в 1991 г. при храме была открыта церковно-приходская детская воскресная школа. За период конца XX – начала XXI вв. в дореволюционном здании были проведены ремонтно-восстановительные работы. В декабре 2007 г. Вознесенская церковь была освящена, и в настоящее время она является действующей.
Возвышающаяся на холме, в окружении преимущественно одноэтажной застройки, церковь Вознесения Господня издали кажется парящей над крышами домов и украшает собой облик старинного города Рыльска.