Духовская церковь (храм Сошествия Святого Духа на Апостолов) была построена в 1476 году псковскими мастерами. Образцом для ее строительства послужил Троицкий собор. Архитектурная особенность этого храма заключается в том, что на сводах купола сооружена звонница с колоколами, поэтому храм получил наименование «церковь иже под колоколы».
Храм-звонница сложен из кирпича, ставшего в то время основным строительным материалом, его объем четко делится на две равные по высоте части: четырехстолпный четверик с тремя высокими апсидами, повторяющий формы Троицкого собора, и цилиндрический постамент на церковных сводах с шестипролетной звонницей, несущей барабан с куполом и крестом.
Звон в церкви «иже под колоколы» был совершенно уникален для Москвы. Это был первоначально так называемый псковский звон, при котором балки с укрепленными на них колоколами раскачивали с земли. Звонили в колокола при помощи веревок и деревянных рычагов, прикрепленных к балкам. Колокол раскачивался вместе с держащим его брусом, при этом язык поочередно ударялся в противоположные края колокола. Такой способ звона называется еще очапным, или псковским, и до сих пор применяется в Псково-Печерском монастыре. Как правило, он распространен в Европе, а в России был известен только в Новгороде и Пскове.