Восточная компания с самого начала стала развиваться совсем не так, как спланировал ее Гальдер. Если на севере и в центра вермахт достиг значительных успехов, то на юге наступление было сорвано. В этой обстановке Гитлер возвращается к своему первоначальному плану и приказывает группе армий «Центр» после разгрома противника в Белоруссии передать все свои танковые соединения группам армий «Юг» и «Север».
Гальдер как мог сопротивлялся этому решению, но когда директива была подписана, он предложил Браухичу вместе подать в отставку. Главнокомандующий ОКХ едва смог отговорить своего начальника штаба от столь резкого решения. Вскоре Гальдер добился продолжения наступления на Москву, но было уже слишком поздно. После провала операции «Тайфун» фон Браухич вместе с другими генералами и фельдмаршалами был отправлен в отставку. В спину им летела ругань Гитлера:
«Тщеславный и трусливый сброд, который своими постоянными замечаниями и непослушанием полностью опошлил и загубил весь план компании на Востоке.»
Франц Гальдер остался на своем посту, но фюрер, и так не жаловавший начальника своего Генштаба, относился к нему все хуже и хуже. Весной 1942 года генерал Гальдер открыто выступил против оперативного плана «Блау», заявив, что вермахт не в состоянии наступать одновременно на Волгу и Кавказ.
21 августа, когда немецкие солдаты подняли флаг на Эльбрусе и вышли к Сталинграду, Гальдер и Гитлер дошли до того, что начали ругаться в присутствии всего штаба ставки. Франц Гальдер сказал фюреру, что его полководческие решения не имею ничего общего с реальностью. Гитлер стал рассуждать о полном разгроме СССР, но тут начальник штаба ОКХ заявил, что это утверждение – полный бред, поскольку русские выпускают по 1200 танков в месяц. Фюрер заорал на Гальдера, приказав ему прекратить «такую идиотскую болтовню».
Через месяц Адольф Гитлер убрал Гальдера с поста начальника Генерального штаба, заменив его Цейтцлером. После покушения на Гитлера 20 июля 1944 года, Гальдер был арестован и оправлен в концентрационный лагерь Флёссенбург, а затем переведен в Дахау. 28 апреля 1945 года он был освобожден американскими войсками.