Фрейзеру пришлось пережить разочарование не только от поражения. Будучи чемпионом, он нес с собой ощущение непобедимости. Когда он сокрушал противников одного за другим, люди видели в нем нечто большее, чем жизнь. Однако, когда он окончательно проиграл, то они почувствовали себя обманутыми. Потом Фрейзер немного позволил себе философствовать: «Люди как можно быстрее спрыгивают со сломанной повозки, а затем забрасывают возницу камнями. Они не хотят, чтобы их ассоциировали с мнениями, которые сейчас кажутся ошибочными...

К концу 1970-х годов Марвис ростом шесть футов полтора дюйма и двести фунтов весом стал лучшим тяжеловесом-любителем в стране. Его тренировал Джордж Бентон. Как любитель, Марвис закончил с результатом 56 побед при 2-х поражениях, победив Тима Уизерспуна, Джеймса (Костолома) Смита, Тони Таббса (эти трое парней впоследствии станут чемпионами мира). Марвиса считали кандидатом на участие в Олимпийских играх 1980 года в Москве, которые команда США бойкотировала. Но боксеры США все же провели отборочное соревнование в Атланте, чтобы решить, какие бойцы войдут в команду...