Далее служил командиром взвода, начальником топографического отдела полка, помощником командира батареи по политической части, командиром разведывательной учебной батареи в 17-м конноартиллерийском полку. В 1930 г. окончил вечернюю среднюю школу.
Полковник Черняховский И. Д. - командир 28 отдельной танковой дивизии и полковой комиссар Банквицер А. Л. - военком 28 отд. танковой дивизии. 26 августа 1941 г.
В 1931 г. поступил в Военно-техническую академию РККА (с 1932 г. — слушатель командного факультета Военной академии механизации и моторизации РККА). После окончания академии с отличием служил на должностях начальника штаба 2-го отдельного танкового батальона 8-й механизированной бригады, командира 1-го отдельного танкового батальона 8-й механизированной бригады. С мая 1938 г. — командир 9-го отдельного легкотанкового полка.
В июле 1940 г. подполковника Черняховского назначили командиром 28-й танковой дивизии. В дивизию входило более двухсот танков и ста бронемашин, около десяти тысяч бойцов и командиров.
В этой должности Черняховский и встретил войну. Сражался в боях юго-западнее Шяуляя, на Западной Двине, под Сольцами, защищал Новгород. По воспоминаниям, комдив сам ходил в атаку, подбил немецкий T-IV. 16 января 1942 г. Указом Президиума Верховного Совета СССР «за четкую организацию обороны Новгорода, личное участие в организации и ведении боев, воспитание десятков молодых бесстрашных командиров, отвагу и мужество» И. Д. Черняховский награжден орденом Красного Знамени.
«Знакомясь с войсками 60-й армии, переданной нам с Воронежского фронта, я внимательно приглядывался к генералу И. Д. Черняховскому. Это был замечательный командующий. Молодой, культурный, жизнерадостный. Изумительный человек! Было видно, что в армии его очень любят».
«Весной 1941 года в 28-ю танковую дивизию, где я проходил службу, прибыл новый комдив. Это был Иван Данилович Черняховский. Несмотря на молодость, подполковник проявил исключительную зрелость в определении степени боевой и политической подготовки. Все поняли, что спокойная жизнь кончилась… Если кто-то неуверенно вел танк или не укладывался в огневой норматив, Иван Данилович с особой доброжелательностью показывал, как добиться хороших результатов. Не было случая, чтобы допустившего ошибку он подверг разносу. Будучи от природы щедро одаренным человеком (играл на гитаре, баяне, хорошо пел) Черняховский обращал внимание на душевное состояние воинов и солдатскую сплоченность. Очень любил и ценил в людях жизнерадостность. Все эти замечательные качества волевого комдива, вскоре ставшего полковником, цементировали нас, притягивали сердечно к нему».
До июня 1942 г. командовал 241-й стрелковой дивизией, хорошо проявившей себя зимой 1942 г. при окружении частей 16-й немецкой армии в районе Демянска. Указом Президиума Верховного Совета СССР от 3 мая 1942 года «за наступательные бои по окружению демянской группировки 16-й немецкой армии» И. Д. Черняховский был награжден вторым орденом Красного Знамени.
5 мая 1942 года полковнику Черняховскому было присвоено звание генерал-майора.
В июне-июле 1942 г. руководил вновь сформированным 18-м танковым корпусом на Воронежском фронте. В ходе ожесточенных боев получил контузию. Несмотря на огромные трудности, 18-й танковый корпус совместно с соединениями 40-й и 60-й армий остановили дальнейшее продвижение врага под Воронежем. По настоятельной просьбе возглавившего 14 июля Воронежский фронт генерала Н. Ф. Ватутина, высоко оценивавшего действия этого молодого, волевого и образованного командира, Черняховский был назначен командующим 60-й армии (до апреля 1944 г.). Трое суток И. Д. Черняховский занимался проверкой состояния частей и был крайне не удовлетворен ситуацией. Командарм провел ряд мероприятий по усилению обороны.
Войска армии успешно действовали в Воронежско-Касторненской операции, в ходе которой сдавили с юга и востока кольцо вокруг противника и захватили в плен свыше 5000 солдат и офицеров противника. Указом Президиума Верховного Совета СССР от 4 февраля 1943 года И. Д. Черняховский за освобождение Воронежа был в третий раз награжден орденом Красного Знамени.