Прибыв на Украину в конце дня 22 июня генерал Жуков совместно с командующим Юго-Зпадным фронтом Кирпоносом руководил ходом боевых действий на Львовском «балконе», где они оба пытались провести танковый контудар и отбросить немцев обратно в Польшу.
Положение вермахта здесь усложнилось, и немцы были вынуждены ввести в бой резерв группы армий «Юг» -- 55-й армейский корпус, что и решило исход сражения. Однако уже к 26 июня Сталин начал понимать всю серьезность создавшегося положения и срочно отозвал Жукова в Москву, чтобы спасать положение севернее, на московском направлении.
К этому времени на Западном фронте противник дошел до Минска, окружив в Западной Белоруссии практически весь первый эшелон генерала Павлова. Проанализировав обстановку, Жуков, Тимошенко и Ватутин предложили силами 13-й, 19-й, 20-й, 21-й и 22-й армий занять оборону по Западной Двине и приступить к подготовке оборонительных рубежей по линии Селижарово-Смоленск-Рославль-Гомель, используя для этого 24-ю и 28-ю армии резерва главного командования. Сталин согласился, и приказ немедленно ушел в войска.
Одновременно Кирпонос запросил у Ставки разрешение на отвод танковых соединений с Львовского выступа, но Сталин и Жуков требовали продолжать наступление, в результате чего были бесцельно потеряны почти все механизированные части фронта. К исходу 27 июня сильно потрепанные мехкорпуса отошли к Ровно, где оборонялись еще два дня, в потом начали медленно отползать к старой границе. Но, 7 и 8 июля немецкие танковые клинья двумя ударами прорвали обоорону Кирпинова у Бердичева и через несколько дней неожиданно для советского командования оказалисьпод Киевом, где уперлись в долговременную линию укреплений и застряли. Так началась оборона столицы советской Украины.
30 июня Сталин приказал арестовать командующего Западным фронтом генерал Павлов и командный состав 4-й армии, которые чудом вышел из окружения. Новым командующим Западным фронтом был назначен маршал Тимошенко, который никак не смог изменить ситуацию, потерял Белоруссию и крайне неудачно оборонял Смоленск.
Пока шла Смоленская битва Жуков безуспешно пытался убедить Сталина позволить Кирпоносу оставить Киев, пока это еще возможно и огранизованно отвести войска Юго-Западного фронта на заранее подготовленные позиции на реке Псел. Но Сталин не понимал сущности современной войны, не представлял себе, чего его методы командования только помогают немцам загонять советские войска в очередной котел. В итоге после потери Смоленска 29 июля он снял Жукова с поста начальника Генштаба, заменив его на Шапошникова, и отправил командовать Резервным фронтом. Теперь Жукова предстояло организовать контрудар под Ельней.