Гонорар за бой с Тайсоном 2,9 миллиона долларов позволили Холмсу завершить строительство пятиэтажного офисного здания из стекла и красного кирпича в Истоне. Рыбалка, немного покера, случайные соревнования по боксу — все это стало хорошим дополнением к разнообразным деловым заботам, которыми пришлось заниматься Холмсу-пенсионеру. Счастливое для него время, когда он наблюдал, как растут его дети, суетился со своими внуками Джеффри и Джессикой и наслаждался жизнью так, как не мог, когда занимался боксом...

Холмс вернулся в Скрэнтон в апреле 1974 года и победил техническим нокаутом Говарда Дарлингтона в четырех раундах, а месяц спустя в Скрэнтоне он одержал победу техническим нокаутом в седьмом раунде над крутым парнем по имени Бобби Мэшберн. После побед его результат стал 9-0. Пока Кинг разъезжал по всему миру, Холмс был вне его поля зрения и мыслей. Его беспокоило невнимание Кинга. Он помнил, что случилось с Эрни Шейверсом. В декабре 1973 года Шейверс, который считался козырем Кинга, пропустил удар и был нокаутирован Джерри Куорри в первом раунде в Мэдисон Сквер Гарден...