С началом войны Зиновий Гердт уходит добровольцем в армию, хотя театр давал своим артистам «бронь» и возможность участвовать в артистических бригадах, выступающих в прифронтовой полосе, поднимая настроение и дух бойцам. Сначала его отправили в военно-инженерное училище, откуда он вышел сапером в звании младшего лейтенанта и сразу же был отправлен на фронт под Воронеж. Провоевал Гердт чуть больше года. В феврале 1943 года под Белгородом он был тяжело ранен в ногу снарядом из немецкого танка. Четыреста метров до опушки леса под вражеским огнем его тащила на плащ-палатке медсестра Вера Веденина, которая фактически его и спасла. А позже врачи спасли и его ногу. Правда, для этого пришлось перевозить его целый месяц из деревни в деревню, сделать одиннадцать операций. Нога стала короче на 8 сантиметров, а Гердт остался хромым на всю жизнь. Но он остался благодарен Вере Ведениной тоже на всю жизнь. Когда он был уже на пике славы и попал в число деятелей искусств, приглашенных в московскую мэрию, к нему подошел Юрий Лужков и спросил:
— Что я могу сделать для вас? Вы никогда ничего не просили.
— Для меня ничего, а вот поменять квартиру на большую медсестре, которая вынесла меня с поля боя, можете.
Трудно представить себе ситуацию, менее благоприятную для актерской карьеры: младший ребенок в многодетной еврейской семье из захолустного местечка с внешностью и фигурой, далекой от образа героя-любовника, хромой наконец. Гердт доказал, что все эти обстоятельства еще не приговор, доказал с помощью всего двух качеств: таланта и силы духа. Он решил спрятаться за ширмой кукольного театра, чтобы скрыть свой физический недостаток. После строгого прослушивания Зиновий Ефимович поступил в самый знаменитый кукольный театр страны к Сергею Образцову, где и проработал 36 лет.
Спектакли этого театра «Чертова мельница», «Божественная комедия» и особенно «Необыкновенный концерт», в которых играл Гердт, стали необыкновенно популярными. В создании «Необыкновенного концерта» он принимал большое участие. Именно с этим спектаклем Образцовский театр много гастролировал за границей. Зиновий Ефимович, который вел и озвучивал куклу конферансье, выезжал на три дня раньше остальной труппы и не только осваивал конферанс на языке той страны, где проходили гастроли, но и узнавал местные новости, обыгрывая их в злободневных шутках.
Благодаря спектаклю «Чертова мельница» Гердта пригласили на дублирование фильма «Фанфан-тюльпан». Режиссер дубляжа Юрий Васильчиков попросил Зиновия Ефимовича попробовать озвучить закадровый голос Историка, который с юмором комментирует основные события, происходящие на экране. Уж очень понравился Васильчикову голос черта первого разряда из кукольного спектакля. Гердт не только озвучил роль Историка из «Фанфан-тюльпана», он переделал текст ближе к своей «чертовской» манере. Фильм пользовался в СССР бешеным успехом, актера стали приглашать озвучивать и другие роли. Например, в фильме «Полицейские и воры» знаменитый Того говорит голосом Гердта.
Однако до выхода Гердта на экраны прошло еще шесть лет, да и то долгое время он играл только в эпизодах. Первой ролью, которая принесла Зиновию Ефимовичу общесоюзное признание, была роль Паниковского в «Золотом теленке» Михаила Швейцера, вышедшем на экраны в 1968 году. Сейчас кажется невероятным, но главным кандидатом на эту роль был Ролан Быков. Швейцер попросил Гердта подыграть другим актерам на пробах вместо уехавшего на гастроли Быкова. Зиновия Ефимовича вооружили канотье и тросточкой… Пробы показали полное, невероятное совпадение артиста и его героя. Режиссер тут же позвонил Зиновию Ефимовичу и сказал:
— Произошло ужасное. Паниковского будешь играть ты, а не Быков. Он тоже так считает.
Вскоре позвонил и Ролан Быков:
— И речи быть не может, играешь только ты!
Так и получилось, что роль Паниковского досталась Гердту. Впрочем, он тут же отплатил Быкову той же монетой, отказавшись от роли Ефима Магазаника в фильме Александра Аскольдова «Комиссар» и порекомендовав режиссеру занять вместо себя Быкова.
Роль Паниковского оказалась для Гердта стопроцентным попаданием в цель. Именно таким остался Паниковский в памяти миллионов советских кинозрителей. В центре Киева в 1998 году был поставлен памятник Михаилу Самуэльевичу Паниковскому, в котором без труда узнается Зиновий Ефимович. К сожалению, он сам до открытия памятника не дожил.
Всего Гердт сыграл в кино семьдесят девять ролей, в основном эпизодических, и озвучил более 30 фильмов. Во многих фильмах он не только озвучивал голос за кадром, но сам писал для себя тексты. Дублирование приносило в Советском Союзе большие деньги. Как сказал сам Зиновий Ефимович, «фильмов было много, и я стал богат».