Костёл Святого Иосифа был возведён в 1816 году на месте прежнего деревянного костёла, построенного в XVII в. при монастыре бернардинцев и пострадавшего во время пожара.
Новое каменное здание отличалось строгими классическими формами и богатым убранством. В его нишах некогда были установлены величественные скульптуры евангелистов. Под хорами располагалась семейная усыпальница Тышкевичей, где был похоронен и основатель храма И. Тышкевич. В 1864 г. костёл был закрыт российскими царскими властями и переосвящён в православную церковь. В 1921 году, после того как Воложин вошёл в состав Польши, храм вернули католикам. После Второй мировой войны церковь закрыли по приказу советских властей. В здании находилось производственное помещение, размещались склады. Лишь недавно, в конце XX в., храм был возвращён верующим католикам.