Как по отцовской, так и по материнской линиям Хаксли принадлежал к британской культурной элите, давшей целый ряд выдающихся учёных, писателей, художников. Его отец — писатель Леонард Хаксли, дед по отцовской линии — биолог Томас Генри Хаксли; по материнской линии Хаксли приходится правнуком историку и педагогу Томасу Арнолду и внучатым племянником писателю Мэтью Арнолду. Брат Хаксли Джулиан и единокровный брат Эндрю были знаменитыми биологами. Мать Хаксли умерла от рака, когда Олдосу было 13 лет. Три года спустя, в 1911 году во время учёбы в Итоне, Олдос заболел инфекционным кератитом глаз, в результате чего он полностью ослеп на правый глаз и на протяжении нескольких лет почти ничего не видел левым глазом. Из-за болезни глаз Олдос освоил азбуку Брайля и шутил, что теперь может читать в постели, когда свет уже выключен. В связи с этим в период Первой мировой войны он был освобожден от военной службы. Собственный опыт исправления зрения Олдос позже описал в брошюре «Искусство видеть» (T