Город расположен в 188 км на северо-восток от столицы Португалии города Лиссабон.
Город основан в 1213 году.
Каштелу-Бранку получил свое название от ранее существовавшего лузо-римского каструма или укрепленного поселения под названием Кастра-Леука, на вершине холма Колина-да-Кардоса. Население росло на склонах этого холма.
Мало что известно об истории до 1182 года. Тем не менее, существует документ от этой даты, в котором упоминается пожертвование тамплиерам участка земли под названием Вила-Франка-да-Кардоса дворянином Фернандешем Санчесом. В 1213 году он получил закон, предоставляющий ему автономию, и название Кастель-Бранку появляется впервые. Папа Иннокентий 3 подтвердил это в 1215 году, дав ему название Каштелу-Бранку. Примерно в это же время рыцари-тамплиеры построили стены и замок.
Исторически Каштелу-Бранку был домом для еврейской общины до ее принудительного обращения. После 1496 года Каштелу-Бранку стал важным центром для марранов, евреев, которые публично приняли христианство, но все еще тайно практиковали иудаизм. Эта практика продолжалась сотни лет, до 1920-х годов, когда многие потомки Маррано вернулись к открытому и более традиционному исповеданию иудаизма. В местном музее в Каштелу-Бранку хранится камень с надписью на иврите из синагоги Бельмонте, датируемый 1297 годом.
В 1510 году Мануэль1 уступил новый форал, а в 1642 году город приобрел статус Вила-де-Каштелу-Бранку.
В 1771 году Каштелу-Бранку стал городом и епископством до 1881 года.
В 1858 году была открыта телеграфная линия между Абрантишем и Каштелу-Бранку, а в 1860 году в городе появилось первое общественное освещение. В 1959 году он стал столицей одноименного округа.
Самым важным памятником в Каштелу-Бранку является епископальный Жардим-ду-Пасу (Сад Епископского дворца). Это один из самых красивых садов в стиле барокко в Португалии, в котором установлены статуи аллегорий, королей и знаков зодиака, расположенные вокруг прудов, террас и лестниц.
В Каштелу-Бранку жаркое лето средиземноморский климат. Лето здесь одно из самых жарких в Португалии, что обусловлено его внутренним расположением. Зимы мягкие, ночи прохладные, но морозы редки и никогда не бывают сильными. Во внутренних районах страны южнее экстремальные температуры более высокие, хотя средние значения очень похожи. Летом наблюдается некоторое сезонное отставание, поскольку сентябрь значительно теплее мая, несмотря на меньшее количество светового дня. Зимние температуры больше соответствуют дневному циклу, поскольку в осенние месяцы температура резко падает.