К концу 1970-х годов Марвис ростом шесть футов полтора дюйма и двести фунтов весом стал лучшим тяжеловесом-любителем в стране. Его тренировал Джордж Бентон. Как любитель, Марвис закончил с результатом 56 побед при 2-х поражениях, победив Тима Уизерспуна, Джеймса (Костолома) Смита, Тони Таббса (эти трое парней впоследствии станут чемпионами мира). Марвиса считали кандидатом на участие в Олимпийских играх 1980 года в Москве, которые команда США бойкотировала. Но боксеры США все же провели отборочное соревнование в Атланте, чтобы решить, какие бойцы войдут в команду...
Час тренировки будущему чемпиону мира приходилось выкраивать. Джо Фрейзер был самым младшим двенадцатым ребенком в семье. Семья жила в сельской местности штата Южная Каролина. По-русски – Джо Фрейзер обычный деревенский паренек. С четырех лет ему пришлось помогать своему отцу. Отец Рубин Фрейзер всегда звал младшего сына Билли Боем. У отца был «Форд» 1940 года выпуска, на котором он ездил по проселочным дорогам и по улицам округа Бофорт, Южная Каролина. Модель автомобиля, известная как «Билли», была настоящим чудом...