К началу XX века в Северной столице постоянно проживало несколько тысяч мусульман, однако у них не было не только мечети, но даже общественной молельни, хотя первый приход был создан еще во времена Екатерины Великой. Наконец, в 1910 году, после нескольких неудачных попыток собрать средства, при финансовой помощи бухарского эмира Сеид-Абдул-Ахад-хана в Санкт-Петербурге началось строительство первой Соборной мечети. Эмир смог добиться выделения участка на углу Кронверкского проспекта и Конного переулка, рядом с Петропавловской крепостью и усыпальницей русских императоров, оплатил его покупку и выделил деньги на строительство.
Эмир выделил для покупки земельного участка 450 000 рублей, стоимость строительства мечети составляла еще 500 000 рублей. В 1913 году в Соборной мечети состоялось первое богослужение, приуроченное к 300-летнему юбилею правящего дома Романовых, но строительные работы продолжались еще почти 10 лет. Здание было возведено по проекту архитекторв Н.В. Васильева, А. Гогена и инженера С.С. Кричинского, взявших за образец знаменитые мечети Самарканда, и долгое время оставалось самым большим мусульманским храмом не только в России, но и во всей Европе.
Детали отделки мечети изготавливались по рисункам художника Л. Максимова, который специально выезжал в Самарканд, чтобы снять копии орнамента мечетей Шах-Зинде и Гур-Эмир. А в оформлении цитат из Корана, украсивших фасад, принимал участие будущий выдающийся советский тюрколог и академик А. Самойлович.
В 1940 году Соборная мечеть была закрыта, но спустя 16 лет власти вернули ее верующим.