Эдвард Томас Харди родился 15 сентября 1977 в творческой и интеллигентной семье. Мама, ирландка Элизабет Барретт – художник, отец, Эдуард «Чипс» Харди – писатель и сценарист, выпускник Гарварда. Том был единственным сыном в семье, жившей в особняке в богемном пригороде Лондона Ист Шине.
Мама уделяла сыну все свое время, полки его комнаты ломились от книг и пластинок, на каждые праздники родители заваливали Эдварда подарками и вывозили на отдых за границу.
В первый класс мальчик отправился не в государственную, а в частную школу.Казалось бы, в такой атмосфере мальчик должен был вырасти гордостью и опорой родителей, но жизнь решила иначе. «Я был непослушным ребенком. Нет, даже не так – ужасно непослушным», – вспоминал актер. Он стеснялся родителей, образцовых представителей среднего класса.
Будучи общительным подростком, он водил дружбу не только с одноклассниками, но и с мальчишками из менее благополучных семей.Когда ему было 11, к ним в школу пришел полицейский, рассказавший детям о вреде наркотиков. Удивительно, но его речь произвела на Харди обратный эффект.
К 13 годам он пристрастился к пиву и попробовал наркотики. В 15 его исключили из школы, а годом позже Тому пришлось признать, что у него началась зависимость от крэка и алкоголя. «Я мог продать свою мать за дозу», – позже расскажет он журналистам. Начались серьезные проблемы с законом, вплоть до ареста за угон машины (не с целью наживы – развлечения ради).
Избежать тюрьмы удалось лишь благодаря связям отца.Несмотря на зависимость, у парня с ранних лет был интерес к сценическому искусству. Еще в школе он играл в детском театре, в 18 по совету мамы поступил в Ричмондскую школу актерства, из которой был исключен, после чего поступил в Лондонскую школу драмы, где учился мастерству у педагога, когда-то обучавшего Энтони Хопкинса.