«Белый» — потому что стены и башни замка были полностью выбелены. Другого белого замка в белорусских землях не было. Князь Семен Сангушка строил его как дворец для семьи с элементами оборонительного сооружения. Единственным входом в замок был деревянный мост. Главное здание и сторожевые башни по углам имели по три этажа, а центральная башня — пять.
Бастионы по углам замка были жилыми, хотя наружу выходили только бойницами. Окна остальных помещений смотрели на закрытый со всех сторон стенами внутренний двор. Замок окружал искусственный водоем, под замком находились подвалы с многочисленными подземными ходами.
Строение пострадало во время русско-польской войны в 17 веке, а окончательно добило его решение князя Сангушко поддержать шведов в северной войне 50 лет спустя. Шведы засели в замке, русские успешно атаковали, захватили замок вместе со шведским генералом, а отступая, взорвали постройки под лозунгом «так не доставайся же ты больше никому!».
Камины, винтовые лестницы, фрески — остатки былого великолепия были уничтожены, но кое-что можно с трудом разглядеть в уцелевшей пятиэтажной башне. После очередного польского восстания, которое Сангушки также поддержали (и снова проиграли) замок был конфискован.
Новый собственник замка коллежский асессор Василий Семенов решил продать его на кирпичи. Но пару десятилетий спустя новый хозяин Смолян инженер и статский советник Титов был настолько очарован живописными местами и исторической ценностью замка, что не только остановил разбор руин на стройматериал, но и укрепил оставшуюся башню — благодаря чему она и уцелела до наших дней.