Обстановка в полосе Воронежского фронта позволяла противнику рассечь его войска на несколько изолированных группировок. Однако такая опасность не до конца учитывалась в Ставке ВГК. Она все еще пыталась изменить ход боевых действий в свою пользу без привлечения сильных резервов, а вводом в сражение лишь отдельных соединений. Воронежскому фронту были переданы 19-я стрелковая дивизия, 2-й гвардейский и 18-й танковый корпуса из Юго-Западного фронта, а также уже упоминавшийся 3-й гвардейский танковый корпус из резерва Ставки. Но стремление улучшить обстановку одновременно на всех направлениях привело к тому, что эти силы вводились в сражение разновременно, по частям, в отрыве друг от друга.
В свою очередь, немецкое командование, поставив задачу панцер-гренадерской дивизии «Великая Германия» развить наступление на белгородском направлении, одновременно нацелило главные силы 2-го танкового корпуса СС на овладение Харьковом.
Главным участником уличных боев за город стала дивизия «Лейбштандарт СС Адольф Гитлер». Утром 11 марта тремя боевыми группами дивизия начала штурм Харькова со стороны Белгородского шоссе. Наименее удачно действовал 2-й панцер-гренадерский полк, который был остановлен контратаками 86-й танковой бригады. Второй полк дивизии продвигался быстрее и даже вышел к главной площади города. Однако контратаки 179-й танковой бригады заставили его отойти назад. В наихудшем положении оказался разведывательный батальон Курта Мейера, атаковавший Харьков с северо-востока при поддержке девяти танков и двух самоходных противотанковых пушек. Вследствие нехватки топлива наступление остановилось. Батальон занял круговую оборону на кладбище, контролировавшем дорогу на Чугуев. Вскоре батальон Мейера был окружен оборонявшими город советскими войсками.
К 12 марта генерал Гот поменял свое решение об использовании эсэсовских дивизий в штурме Харькова. Втягивание 2-го танкового корпуса СС в уличные бои означало возможность для защитников города вести бои до тех пор, пока это было целесообразно, а затем без помех покинуть Харьков. Поэтому командующий 4-й танковой армии приказал Хауссеру вывести из боев за город дивизию «Рейх», которая меняла дивизию «Тотенкопф», а последняя была брошена в обход Харькова с северо-востока. Углубившаяся в город на километр дивизия «Рейх» была отведена назад и разделена на две части. Полк «Дойчланд» был брошен на позиции к северу от Харькова, а полк «Фюрер» должен был обойти город с юга.
День 12 марта прошел под знаком решения генерала Гота на обход Харькова. С севера в обход города двинулась боевая группа Баума дивизии «Тотенкопф», сосредоточившаяся к вечеру в селе Байрак. К югу от Харькова изменил вектор своего наступления 48-й танковый корпус. Теперь он должен был атаковать в направлении населенного пункта Чугуев с цель охвата Харькова с юга. Однако наступление 11-й танковой дивизии с плацдарма у Змиева было неудачным, это соединение немцев встретило сильный огонь артиллерии и противотанковых орудий. На помощь 48-му корпусу выдвигалась 106-я пехотная дивизия.
После вывода из города дивизии «Рейх» соединение Дитриха — дивизия СС «Лейбштандарт СС Адольф Гитлер» — продолжило штурм Харькова в одиночку. Уличные бои за крупный город всегда были непростой задачей. «Бичом» немецких танков и самоходных орудий стали наши 76,2-мм пушки, которые оборонявшие город советские войска устанавливали в подвалах и вели огонь вдоль улиц. В результате к ночи с 11 на 12 марта в «Лейбштандарте» оставалось всего 17 Pz.Kpfw.IV и 6 Pz.Kpfw.III. Все «Тигры» были в ремонте разной степени сложности, а два «Тигра» были потеряны безвозвратно. Для уличных боев в «Лейбштандарте» были организованы штурмовые группы, каждая из которых поддерживалась танком, а также 75-мм и 150-мм тяжелыми пехотными орудиями. Гренадеры 1-го полка «Лейбштандарта» продвигались вперед квартал за кварталом, уничтожая огневые точки огнем танковых или пехотных орудий. Вскоре они вышли к центральной площади города. Двигавшийся параллельным маршрутом 2-й панцер-гренадерский полк «Лейбштандарта» также постепенно вышел к центру города — площади Дзержинского. Батальон Пайпера вновь должен был выручать окруженных — разведывательный батальон Мейера на кладбище. На этот раз он возглавлял наступление всего панцер-гренадерского полка.