Родители Вуди – Чарльз и Диана Харрельсон – родили трех сыновей и развелись, когда Вуди исполнилось 3 годика.
Вуди всегда благодарил свою мать, что она не говорила плохо об отце и никогда не срывалась на детях. Диана Харрельсон была набожным человеком, работала секретарем и старалась дать детям все, что могла.
Однажды маленький Вуди услышал по радио, что некоего Чарльза Харрельсона судят за убийство окружного судьи Джона Вуда. Мальчик был в шоке, но до последнего надеялся, что это был не его отец, а какой-то другой Харрельсон.
О том, что его отец наемный убийца, Вуди узнал не от матери, скрывавшую от детей жестокую правду, а из газет и радио. Процесс был громкий – это было первое убийство американского судьи в XX веке. На счету Чарльза Харрельсона уже было одно убийство, датируемое 1968 годом, поэтому, хотя мужчина отсидел 5 лет в прошлый раз, ему присудили два пожизненных срока.
Видимо, от отца Вуди унаследовал сложный характер. Он сменил не одну школу и какое-то время даже учился в школе для трудных подростков. В старших классах он занялся резьбой по дереву, а в свободные часы работал в развлекательном парке «Kings Island», стараясь помочь матери хоть какими-то деньгами.В 1983 году Вуди окончил колледж Ганновер в штате Индиана.
Он получил степень бакалавра по театральному искусству и английскому языку. Его студенческие годы были бурными и, как он сам вспоминал, довольно дикими. На первом курсе в колледже в 1980 году Вуди ходил агитировать людей голосовать за Рейгана, симпатизировал республиканцам и верил всем обещаниям «правых».