К концу 1970-х годов Марвис ростом шесть футов полтора дюйма и двести фунтов весом стал лучшим тяжеловесом-любителем в стране. Его тренировал Джордж Бентон. Как любитель, Марвис закончил с результатом 56 побед при 2-х поражениях, победив Тима Уизерспуна, Джеймса (Костолома) Смита, Тони Таббса (эти трое парней впоследствии станут чемпионами мира). Марвиса считали кандидатом на участие в Олимпийских играх 1980 года в Москве, которые команда США бойкотировала. Но боксеры США все же провели отборочное соревнование в Атланте, чтобы решить, какие бойцы войдут в команду...

В раздевалке вся семья Фрейзера сбилась в кучу и пыталась придумать, на какие кнопки нажать, чтобы заставить его бросить бокс. Жена Флоранс твердила: «Теперь ты можешь уйти на пенсию и проводить время с нами». Сын Марвис убеждал: «Ты заработал кучу денег, которых нам хватит на всю оставшуюся жизнь». Дочь Жаклин советовала: «Почему бы не развлечься? Ты достаточно много и долго работал». Все это было правдой. Той ночью, в подавленном настроении, Джо пообещал им: «Хорошо, Все кончено. Я повешу перчатки на гвоздь»...