Диане исполнилось шесть лет в 1967 году, когда ее мать ушла от отца и сняла квартиру в лондонском районе Челси, чтобы быть поближе к своему любовнику. Она сказала мужу, что хочет развестись и получить опеку над детьми. Спенсер напился, назвал ее "беглянкой" и избил. Когда он протрезвел, то расплакался и попросил вернуться домой, но она не согласилась и уехала в Лондон. Спенсер был унижен изменой жены и подал в суд с целью получить опеку над детьми. Суд решил вопрос в пользу отца, поэтому Диана и ее брат остались с отцом. Будучи ребенком, живущим в неполноценной семье, Диана долго не могла научиться читать. Брат дразнил ее за то, что она медленно соображает и едва справляется с учебой. За время ее обучения в школе Диана получила единственную награду в четвертом классе - кубок Палмера для любителей животных - за хорошее обращение с морской свинкой. В 1976 году отец женился на Рейн Легги ( у которой было четверо своих детей) и в доме появилась мачеха. Рейн наслаждалась титулом Спенсера