К началу сезона 1903/04 руководство «Вест Хэм Юнайтед» столкнулось с серьёзными финансовыми проблемами. За два предыдущих года клуб понёс убытки в размере 900 фунтов стерлингов, имел долги в 770 фунтов и активы менее 200 фунтов. Падение продаж абонементов и низкая посещаемость матчей только усугубляли ситуацию. В таких условиях требовались радикальные меры.Результативный нападающий Билли Грессэм был продан в «Манчестер Юнайтед», а защитник Дик Пудан перешёл в «Бристоль Роверс». На их место пришли новые игроки: нападающий Чарльз Саттертуэйт из «Нью Бромптона», защитник Томми Эллисон из «Рединга», а также вингер Уильям Кирби и нападающий Герберт Лайон.. Саттертуэйт и Кирби забили в сумме 29 голов за сезон, но этого оказалось недостаточно для успешного сезона .
Сам сезон начался с поражения в выездном матче против «Миллуолла» (2:4) на их новом стадионе в Северном Гринвиче. Однако затем последовали две домашние победы — над «Кеттерингом» (4:1) и «Куинз Парк Рейнджерс» (1:0). Но после этого команда попала в затяжную серию неудач, не одержав ни одной победы в следующих восьми матчах чемпионата.На фоне неудач в лиге «Вест Хэм» порадовал болельщиков яркими выступлениями в Кубке Англии. В третьем квалификационном раунде команда разгромила «Брайтон» со счётом 4:0, где дважды отличился Герберт Лайон. В следующем раунде Лайон снова забил два гола, а «хаммерс» обыграли «Клэптон» со счётом 3:0. В пятом квалификационном раунде Чарли Саттертуэйт оформил хет-трик в матче против «Чатема», завершившемся со счётом 5:0. Однако затем выступление в Кубке завершилось на стадии первого раунда турнира — при 12 000 зрителей «Фулхэм» одержал минимальную победу (1:0), оставив «хаммерс» за бортом соревнования.
Рождественские праздники принесли долгожданные победы в чемпионате. Лидеры лиги, «Саутгемптон», были обыграны со счётом 2:1, а затем последовал реванш над «Фулхэмом» (2:0). Однако стабильности команде всё ещё не хватало. Следующую победу удалось одержать только в конце января, когда «Веллингборо» был разгромлен со счётом 4:1. Этот матч стал антирекордным по посещаемости — всего 250 зрителей пришли на стадион, что стало самым низким показателем за всю историю клуба.
После очередного разгромного поражения от «Бристоль Роверс» (0:4) команда вновь продемонстрировала силу, обыграв «Брайтон» со счётом 5:0. В этой игре Чарли Саттертуэйт забил четыре гола. Однако март стал катастрофическим для команды — пять поражений подряд без единого забитого мяча. Выездная форма оставляла желать лучшего: за сезон команда одержала лишь одну ничью и потерпела одиннадцать поражений на чужих полях.В Страстную пятницу команда одержала уверенную домашнюю победу над «Портсмутом» (3:0), но затем последовала серия из пяти выездных матчей подряд. Под угрозой вылета команда собралась и смогла добиться двух побед и двух ничьих при одном поражении. Однако последняя домашняя игра сезона — и последняя на стадионе «Мемориал Граунд» — разочаровала болельщиков. Гости из «Суиндон Таун» выиграли с минимальным счётом, что оставило неприятный осадок.По итогам сезона «Вест Хэм Юнайтед» занял 12-е место в Южной лиге.. Несмотря на это, клуб завершил важный этап своей истории и готовился к новой эпохе на новом стадионе...