Замок был построен в конце XII века и первоначально включал в себя только дозорную башню. В начале XIII века Чиллингем перешёл в собственность семьи Грей. В 1298 году, во время кампании против Уильяма Уоллеса, замок посетил король Эдуард I Длинноногий. Он ночевал на последнем уровне башни, в помещении, где специально для короля сделали в стенах окна. С тех пор это помещение носит название Комната Эдуарда I.В Средневековье местоположение Чиллингема имело важное стратегическое значение: он располагался на границе двух противоборствующих наций, поэтому в замке часто останавливались отряды английских войск, которые следовали в Шотландию. Шотландцы в свою очередь не менее часто совершали набеги на замок.В 1617 году в замке останавливался Яков VI, король Англии и Шотландии, объезжавший оба королевства. После вступления Якова VI на престол, политическая ситуация между странами наладилась, в результате чего отпала необходимость защищать границы. Чиллингем постепенно превратился из военной цитадели в светский замок. Окружающий замок ров был заполнен землёй, пристроены новые помещения — банкетный зал и библиотека, — а в XVIII и XIX веках вокруг замка разбили роскошные сады.Во время Второй мировой войны в Чиллингеме размещались казармы. Деревья вокруг замка были вырублены и пущены на дрова для обогрева солдат. После войны замок пришёл в запустение. У него обвалилась крыша, а на верхних этажах скопилось около тонны птичьего помёта.В 1980 году замок приобрёл сэр Хэмфри Уэйкфилд, жена которого была потомком Грэев. Чтобы вернуть замку былое величие, сэр Хэмфри потратил немалые средства на его восстановление. Каждое помещение было отремонтировано и обставлено соответственно эпохе. Например, «Комната Эдуарда Первого» приобрела вид, который, возможно, имела в XIII веке Банкетный зал также был обставлен в Средневековом стиле.
