Храм Воздвижения Честного Креста Господня стоит на юго-западной стороне острова Столобный, в стороне от комплекса монастыря, там, где раньше стояла каменная часовня, построенной в память о пребывании в пустыни Серемской преподобного Нила. Храм имеет одну главу, в нижней части он – квадратный, а в верхней – восьмиугольный. Ранее у храма была каменная ограда с двумя входами, похожими на церковь. Храм был возведен в 1784-1788 годах на средства жертвователей.
Название храма в честь Воздвижения Креста связано с тем, что первым строением в Серемской пустыни был деревянный крест на деревянном столбе с образом преподобного Нила. Изучение монастырских приходо-расходных книг подтвердило, что крест был установлен в 1687 году насельниками обители.
На первый взгляд Воздвиженская церковь кажется сооружением каменщиков, приглашенных из другой местности — настолько необычны ее объемы, пропорции и декор. Но точно установлено, что капители для пилястр выполнил осташковский мастер. Лепные узоры здесь более строгие, чем в Петропавловской церкви, здесь заметно влияние столичных архитектурных образцов.
Внутренняя отделка храма отличалась особенной легкостью письма иконостаса и изяществом настенных лепных украшений, красочностью настенной живописи и икон, яркостью позолоты иконостаса. При посещении обители в 1820 г. император Александр I обратил на это внимание. Над украшением интерьеров храма работал осташковский резчик Кондратий Конягин, который, по мнению В.В. Успенского, занимался также перепиской книг, в конце жизни он принял монашеский постриг. Мастерство его было известно далеко за пределами Ниловой пустыни, для выполнения лепных и резных работ его приглашали в Валаамский монастырь на Ладоге. Живопись храма принадлежит руке Ильи Верзина и Семена Уткин. По наблюдениям реставраторов В.В. Филатова и Л.М. Колтуновой, росписи церкви очень похожи на живопись Петропавловской надвратной церкви обители и Осташковского Воскресенского собора. Не исключается, что над убранством названных храмов работала одна и та же артель.
С 1936 по 1967 годы в церкви размещалась электроподстанция. В настоящее время церковь является действующей.