Однажды под Рождество 1961 года он вошел в спортзал Полицейской спортивной лиги на Двадцать второй улице в Филадельфии. Его родственник, Риверс Райли, который владел парикмахерской на севере Филадельфии, дал деньги, чтобы купить высокие туфли, которые носят боксеры, а также бинты для рук и спортивную сумку. Фрейзер настоящую экипировку очень ценил, потому что не хотел приходить в спортзал в оборванном виде. Боксеров тренировал бывший полицейский Дюк Дюджент. В первый раз, когда он вышел на ринг для спарринга, то столкнулся с большим сильным парнем, которого звали Джорджи Бой...

Советские люди впервые узнали о существовании боксера-профессионала Джо Фрейзера из небольшой статьи на последней полосе газеты «Известия». Статья называлась «Мир еще не видел Мохаммеда Али поверженным». В бою за самый почитаемый в мире бокса титул чемпиона мира среди тяжеловесов Фрейзер победил любимца советской пропаганды Мохаммеда Али. Любовь к Али советской прессы объяснялась очень просто – чернокожий американец, отказавшийся воевать во Вьетнаме. Этого было вполне достаточно. Через 9 лет любовь бесследно испариться...