Наступление планировалось командованием 55-го армейского корпуса вермахта на 12.00 по берлинскому времени и должно было осуществляться силами трех дивизий, еще одна дивизия находилась в резерве. Главный удар нанесла 57-я пехотная дивизия, которая вела фронтальное наступление с запада при поддержке частей 101-й и 100-й легкой пехотных дивизий, наступавших с севера и юга. В каждом батальоне дивизий были созданы штурмовые группы, основу которых составили пехотные части, усиленные саперами, легкими пехотными орудиями, мотоциклистами и бронетехникой. Действиям пехоты предшествовала интенсивная артиллерийская подготовка, которую вели тяжелые дивизии армейского подчинения с применением 211-мм тяжелых минометов и 150-мм тяжелых гаубиц. Для действий в городских условиях пехотным дивизиям были выделены дивизии штурмовых орудий, а в качестве противотанковых средств - батареи 88-мм тяжелых зенитных орудий.
Для непосредственной обороны Харькова были задействованы 216-я стрелковая дивизия, 57-я стрелковая бригада НКВД, Харьковский полк народного ополчения, отдельные батальоны местных стрелковых войск и танковый (противотанковый) отряд. Самой боеспособной среди всех частей гарнизона была 57-я стрелковая бригада НКВД под командованием полковника М.Г. Соколова, имевшего высокий уровень боевой подготовки и хорошо вооруженного автоматическим оружием. 216-я стрелковая дивизия под командованием полковника Д.Ф. Макшанова, сформирована в начале октября 1941 года из призывников и военнослужащих тыловых частей, не имела боевой подготовки, но была хорошо вооружена. Харьковский полк народного ополчения и батальоны местных стрелковых частей сформированы из местных жителей разных возрастных категорий, которые пошли добровольцами и имели низкий уровень боевой подготовки. Личный состав был вооружен только винтовками. Отдельный (бронированный) противотанковый отряд насчитывал 47 бронемашин устаревших типов (25-Т-27, 13-Т-16 (ХТЗ), 5-Т-26, 4-Т-35). Общая численность военнослужащих в гарнизоне города Харькова составляла 19898 человек при 120 орудиях и минометах.
Утром 23 октября 1941 года немецкие войска начали боевую разведку и, в результате, через несколько часов обосновались в жилых районах в районе Новой Баварии, на западной окраине Харькова. В полдень после завершения артиллерийской подготовки основные силы 57-й стрелковой дивизии перешли в наступление. Медленно двигаясь по улице Свердлова и параллельным ей улицам в сторону вокзала, немецкие штурмовые группы преодолевали ожесточенное сопротивление частей 216-й стрелковой дивизии. По всей длине улиц, баррикады, рвы и минные заграждения, воздвигнутые на каждом перекрестке, не позволяли противнику продвигаться. Ночью части 57-й дивизии вермахта вышли к железнодорожной ветке в районе Холодногорского виадука, который был частично взорван советскими саперами, но пехота могла двигаться по уцелевшей части.
Сотых легкая пехотная дивизия вермахта, наступавшие с юга, встретили упорное сопротивление со стороны 57-й стрелковой бригады НКВД и не имели никакого ощутимого успеха. Наибольших успехов 101-я легкая пехотная дивизия добилась в первый день боев за Харьков. Их частям, занявшим район Лысой Горы, удалось захватить Кузинский мост севернее станции и по железнодорожной линии выйти на западный берег реки Лопань. Попытки отдельных частей вермахта обойти город и прорваться с севера по Белгородскому шоссе были пресечены ополченцами на оборонительных рубежах в Сокольниках. В результате первого дня боя немецким войскам удалось захватить западные районы Харькова, а также выйти и преодолеть железную дорогу, которая пересекала город с севера на юг и на некоторых участках. В этих условиях командующий 216-й стрелковой дивизией, опасаясь окружения, принял решение отвести свои части на восточный берег Лопани и занять вторую линию обороны. Узнав об этом, командование 38-й армии отменило приказ об отходе и на следующий день приказало контратакой вытеснить противника из западной части Харькова. Однако к этому моменту советские войска уже отошли за реку, и пионеры начали взрывать мосты. Если подвести итоги первого дня боя, то в целом можно сделать вывод, что организованная оборона города не сработала. Без должной боевой подготовки сразу после того, как противнику удалось прорваться на его окраины, советские части, оборонявшие Харьков, запаниковали и начали поспешно отступать к его центру. Из-за отсутствия необходимых средств связи и плохо организованного взаимодействия частей и подразделений штаб командования и обороны практически полностью утратил контроль над действиями войск в первые часы боев за город.
Утром 24 октября 1941 года немецкие войска заняли кварталы между железной дорогой и рекой и вышли на берег Лопани. Из-за выхода из строя взрывных устройств уцелели несколько мостов через реку, в том числе центральный мост Большой Лопанский. В течение шести часов один из полков 57-й дивизии вермахта при поддержке артиллерии, авиации и штурмовых орудий пытался захватить этот мост и отбросить советские войска от укреплений на университетском холме. Остальные части дивизии, сумевшие форсировать реку на юг, вошли в район железнодорожных станций Балашовка и Левада, а также прилегающих к ним промышленных предприятий. Части 101-й легкой дивизии вынудили выйти на Клочковскую улицу и начать наступление в разных направлениях: по улице Культуры через парк Горького до авиационного завода; по спуску Пассионариев к Госпрому на центральной площади Дзержинского и по Клочковской в сторону центра, вдоль реки Лопань. Ожесточенные бои развернулись на площади Дзержинского и на прилегающей улице Карла Либкнехта, где части народного ополчения более пяти часов держали оборону под атакой превосходящих сил противника. Единицы на 57-й бригаде морской НКВД продолжали упорно защищаться, которые, окопались в районе станции Основы, отразили атаки 100-й легкой дивизии вермахта. Около трех часов дня немецкие войска овладели центральными районами Харькова, сопротивление носило очаговый характер и оказывалось силами отдельных частей и разрозненных отрядов. Командование 38-й армии было склонно отдать приказ о немедленном отходе из Харькова, но директива штаба Юго-Западного фронта предписывала удерживать город до конца 25 октября. Попытка контратаки штаба обороны с привлечением последних резервов привела к контратаке на проспекте Сталина у площади Руднева, но безуспешно. С наступлением сумерек части вермахта вышли на восточную окраину Харькова, а остатки гарнизона, сосредоточившиеся в районе дачи Сабурова, стали отступать на восток. Приказ об отходе дал командир 216-й стрелковой дивизии Д.Ф.Макшанов, который утром был отстранен от должности по приказу командующего армией, но поскольку штаб дивизии не имел связи со штабом армии, он продолжал руководить войсками в течение бои за город. Новый командир дивизии, комбриг Ф.Ф. Жмаченко удалось найти и передать себе только два батальона. До 27 октября дивизия контролировалась двумя центрами. В ночь на 25 октября 1941 г. командующий войсками гарнизона генерал-майор Маршалков И.И. и комбриг Ф.Ф. К утру, собравшись за ночь в части, силами до двух полков, советские войска заняли оборону в районе тракторного завода и поселка ХТЗ, находящегося за городом, но административно входящего в его состав. В течение дня происходили мелкие столкновения с разведывательными и передовыми частями вермахта, так как основные силы 55-го армейского корпуса очищали город, ликвидировали отдельные очаги сопротивления и вели инженерные работы. Уже в первый день оккупации публично казнили 116 харьковчан. В ночь с 25 на 26 октября 1941 года советские войска отступили за Северский Донец.