Каменный кладбищенский храм в честь Вознесения Господня с небольшим приделом во имя мученика Харлампия построен в Гагарине в 1791 году. Возведен на месте более древнего деревянного храма. Место, где он стоит, называется Тарантаевским кладбищем. Был приписан к Богоявленскому (Казанскому) храму. После революции 1917 года Вознесенский храм оставался единственным действующим в Гжатском уезде. Верхние ярусы колокольни восстановлены в 1987-1988 годах, к празднованию 1000-летия Крещения Руси. Сохранилась масляная роспись и иконостас конца XIX века, с иконами XIX — начала XX веков. В 1997 году проведен ремонт фасадов храма.
По преданию, в храме длительное время хранилась чудотворная икона Колочской Божией Матери, обретенная в 1413 году в селе Колоцком. Это была икона Божьей Матери Одигитрии с двумя створками, на которой иконописец изобразил Илью Пророка и Николая Чудотворца. Обретенную икону монастырь передал Ивану Грозному, с нее были сделаны списки, которыми царь одаривал другие церкви и монастыри. Одну из таких чтимых икон удалось спасли прихожанам, и лик очутился в Вознесенской церкви. К несчастью, в 1980-е годы ее похитили. Сейчас написали новую икону, подобную прежней, и каждое воскресенье вечером совершается акафист перед ней.
В 1933-1934 годах проживал и 14 июля 1934 года арестован в городе Гжатске новомученик, митрополит Казанский Кирилл (Смирнов). В 1920-30-е годы именно именно Вознесенский храм стал кафедрой гжатских викариев Патриаршей Церкви. Закрывался, был разрушен, значительно пострадали колокольня и алтарь. После войны церковь была возвращена. Есть документы, подтверждающие, что в 1946 году горисполком передает храм общине верующих.
Кирпичные стены покрыты тонкой обмазкой. Ярусный храм в формах раннего классицизма во многом еще близок традициям барокко. Двусветный, вытянутый с севера на юг четверик с пятигранным алтарем завершен широким приземистым восьмериком. Прямоугольная удлиненная трапезная с колокольней (сохранились два нижних четверика и часть яруса звона) необычно сдвинута к югу с продольной оси здания. На углах объемов и между окнами - плоские пилястры, в завершении стен - карнизы с сухариками; над крупными прямоугольными проемами с уступом по краю - сандрики. Внутри основное помещение с двухступенчатыми тромпами при переходе к восьмерику перекрыто лотковым сводом с небольшими распалубками. В алтаре коробовый свод переходит в граненую конху, в трапезной - плоский потолок, в нижнем ярусе колокольни - крестовый свод. В южной стене этого яруса устроена лестница к звону.
