Надо сказать, что строительство храма после его возобновления и вплоть до окончания проходило в крайне враждебной по отношению к буддистам атмосфере. С нападками на буддистов обрушилась не только черносотенная пресса, но и некоторая часть православного духовенства, усмотревшая в сооружении еще одного иноверческого молитвенного здания в столице чуть ли не покушение на основы истинно русской веры.
Храм в Старой Деревне был объявлен идольским капищем, с помощью которого буддисты якобы пытаются вернуть язычество на святую Русь. «Наступает власть тьмы и время антихриста, ибо открытое идолослужение в центре России, в столице, при соизволении властей и молчании полуторамиллионного христианского населения, — что это, как не восстание древнего змия — дракона на Христа…» — гневно писал архимандрит Варлаам. Особенно возмущало иерарха православной церкви то, что «огромное языческое капище» в Петербурге предназначалось, по существу, не для исконных «язычников-буддистов» (т.е. бурят и калмыков), — «оно понадобилось новым буддистам, из христиан, отрекшихся от искупившего их Господа и пошедших вслед богомерзких идолов». (Случаи «уклонения» из христианства в буддизм действительно участились после постановления Государственной думы от 26 мая 1909 года «О праве свободно переходить из христианской религии, не исключая православия, в религию еврейскую, магометанскую и языческие».)
В Департамент духовных дел посыпались петиции с требованием отменить разрешение на постройку храма. Доржиев и другие буддисты стали получать анонимные письма с угрозами убить их и взорвать «идольское капище». Посылали им и всякого рода «заговоренные» амулеты и травы.
Отношение местных жителей к постройке, как и общества в целом, губернский секретарь Г. Брониковский охарактеризовал как «недоуменно-растерянное». Расспросы же строителей показали, что они имеют весьма туманное представление о том, что строят. «Рабочие на этой постройке—частью местные, частью из Костромской губернии. Словоохотливостью по поводу своей работы не отличаются; по всем признакам, старшие из них снабжены на этот счет определенной инструкцией, которую внушали и младшим. По крайней мере, я ни от кого из них не мог добиться прямых ответов на свои вопросы. Гораздо более откровеннее пришлый элемент — подводчики, свозящие сюда из города железный деревянный материалы. Так, один из них на мой вопрос, что это за здание такое, — ответил: «Да так, сказывают, моленная баптистов что ли, китайцев, да японцев, значит. Построят им этот храм, вот они и понаедут». Другой оказался еще более несведущим и назвал молельню «иудейским храмом», но тут же был поправлен товарищем, указавшим, что иудеи веруют в Бога, а это «строится молельня для идольщиков, что истуканам поклоняются».
— А.И. Андреев. Из книги "Буддийский Храм в Санкт-Петербурге"