В соответствии с директивой Ставки командование фронта отдало приказ штабу армии отвести войска к 20 октября 1941 года на промежуточный рубеж обороны Обоянь-Белгород-Мерефа-Змиев-Балаклея-Барвенково. Отвод фронтовых соединений производился по трем расходящимся оперативным направлениям: Белгород (40-я и 21-я армии), Харьков (38-я армия) и Изумский (6-я армия). В результате 38-я армия, отступая, расширила фронт обороны на 50 километров за счет удлинения правого и левого флангов. Кроме того, армия была ослаблена переброской в резерв фронта трех дивизий и двух танковых бригад. Напротив, немецкие войска, перегруппировавшись, сосредоточили на харьковском направлении ударные силы 6-й и 17-й армий вермахта. Если отход остальных армий Юго-Западного фронта происходил при незначительном противодействии противника, то соединения 38-й армии активно преследовались. По графику штаба фронта до 23 октября 38-я армия должна была удерживать позиции в 30-40 км от Харькова, способствуя завершению эвакуации и другим событиям, происходящим в городе.
Однако планы советского командования были сорваны немецкими войсками: 19-20 октября части 55-го армейского корпуса овладели ключевым оборонительным пунктом Люботин, а передовые патрули вышли на окраины Харькова - Покотиловку и Песочин. Наспех организованная советская контратака, направленная на восстановление ситуации, провалилась. На следующий день, воспользовавшись непоследовательностью отвода соединений 38-й армии, 101-я легкая дивизия вермахта занимает Дергачи, а Змиев принимает участие в 11-м армейском корпусе 17-й немецкой армии. Харьков расположен полукругом, прикрытый противником с трех сторон. Отступающие советские части: 76-я горнострелковая дивизия и 300-я пехотная дивизии были отброшены от города на север и юг соответственно, создав брешь в обороне. Для непосредственной обороны Харькова остались только силы гарнизона. Немецкие войска смогли беспрепятственно занять пригородную оборону.
Чтобы исправить это, командующий 38-й армией приказал 216-й стрелковой дивизии, главному соединению Харьковского гарнизона, покинуть город и подготовиться к обороне для продвижения в район Пересечного. Ночью дивизия, состоявшая из плохо обученных призывников, маршировала и была расстроена: один из полков был потерян и был обнаружен буквально через полтора дня, более того, через несколько часов ему было приказано вернуться в исходное положение. позиции. В результате соединение, потратив больше суток на концентрацию, заметно утратило боевую эффективность. Кроме того, до 30% личного состава дезертировали во время маршей 19-20 октября. К концу 20 октября 1941 года немецкие войска вышли к окраинам Харькова, и у советских частей не было сплошной линии обороны. В этот же день штаб Юго-Западного фронта принял от заместителя начальника штаба А. Василевский отдал приказ удерживать Харьковскую область в течение двух-трех дней.
В этих условиях командование 38-й армии берет на себя непосредственное управление обороной города, подчиняя себе штаб обороны Харькова во главе с генерал-майором II Маршалом. На практике это приводило к тому, что советские части, оборонявшие город, иногда получали противоречивые приказы одновременно из двух командных центров - командования армии и командования гарнизона в Харькове. Ситуация усугублялась тем, что при подходе противника к Харькову были взорваны электростанции (в том числе линии электропередач для защитных электрических заграждений), водопровод и центральная телефонная станция. Поскольку Харьковский гарнизон не был оборудован радиосвязью, руководство обороны города было лишено возможности оперативно получать информацию и командовать войсками во время боевых действий.
21 октября немецкие войска перегруппировались перед решающим наступлением на Харьков. Было решено захватить город силами 55-го армейского корпуса 6-й армии, для чего к нему были приданы 101-я легкая дивизия и 239-я пехотная, а также были приданы части тяжелой артиллерии. Чтобы сорвать подготовку к наступлению, 22 октября советские войска неожиданно перешли в контратаку противника силами 57-й бригады НКВД и двух полков 216-й стрелковой дивизии в направлении Куряж-Песочина. Затяжные бои продолжались весь день, а к вечеру советские войска отступили на исходные позиции. В результате действий гарнизонных частей противник понес потери, но намеченная на 23 октября атака на Харьков предотвратить не удалось.