Каменная Крестовоздвиженская кладбищенская церковь была построена в 1781 году по просьбе осташковских купцов и мещан Амвросия Пыпкина (Цыпкина?) и его товарищей. Она находилась сразу за городской чертой Осташкова, которая ранее проходила по 15-му переулку (ныне Южный переулок), на месте, где сейчас расположен городской почтамт.
В церкви было три престола: в настоящей холодной — один, в честь Воздвижения Животворящего Креста Господня; в тёплой — два: в честь Тихвинской иконы Божией Матери (празднование 26 июня) и во имя святого пророка Ильи (празднование 20 июля).
Церковь была обнесена высокой каменной оградой с девятью башнями, на северо-восточной стороне которой была устроена часовня во имя Животворящего Креста Господня. Церковь была приписана к городскому Троицкому собору.
С 1896 года церковным старостой кладбищенской церкви был купец Пётр Макарович Суворов, родившийся в Осташкове 26 июня 1844 года. Он служил членом Городской Управы в 1877–1891 годах. При открытии женской прогимназии он был избран в состав членов Попечительного Совета.
В октябре 1939 года кладбищенская церковь перестала использоваться общиной верующих. В январе 1940 года на заседании исполкома Осташковского горсовета депутатов трудящихся было принято решение о её закрытии.
Вскоре из-за отсутствия кирпича для вновь строящейся школы была разобрана кирпичная стена кладбища, выходящая на юго-запад. Здание бывшей церкви и само кладбище были переданы Механическому техникуму. Здание церкви — под учебный корпус, а кладбище — для планировки могил. Планировку не успели провести из-за начавшейся войны.
Во время Великой Отечественной войны в подвалах Крестовоздвиженской церкви находился диспетчерский пункт железной дороги. В 1942 году во время авианалёта в купол церкви попала бомба, которая рикошетом засыпала вход в подвал. После этого связистов перевели в жилой дом в центре города.
С 1945 года здание церкви никем не использовалось и постепенно разбиралось на стройматериалы. К 1957 году была разрушена ограда с северной и восточной стороны кладбища.
В 1961 году исполком горсовета решил использовать участок бывшего кладбища для загрузки проезжих частей улиц и тротуаров, поскольку со времени закрытия кладбища и последних захоронений прошло более 20 лет.
В 1990-е годы по инициативе старшего научного сотрудника Осташковского краеведческого музея А. В. Васильева на уцелевшей башне кладбищенской ограды была установлена мемориальная доска в память о существовавшем здесь кладбище.
22 июня 2005 года на территории бывшего кладбища была открыта часовня-памятник в память осташей, положивших свою жизнь за наше Отечество.