Он появился на свет 21 сентября 1916 года в уездном городе Себеже Витебской губернии. Маленький Зяма стал четвёртым ребёнком в большой еврейской семье, где уже подрастали две старших сестры и брат. При рождении мальчика назвали Залманом Афроимовичем Храпиновичем, и лишь спустя много лет, уже делая успехи на актёрском поприще, он взял псевдоним.
С детства у Залмана проявился талант к поэзии — он писал стихи на идише и даже публиковался в местной газете. Однако связывать жизнь с литературой молодой человек не планировал. Перебравшись к брату в Москву, он устроился в училище при электрозаводе имени Куйбышева, а вскоре стал работать электромонтажником на строительстве метрополитена.
И всё же творческий потенциал дал о себе знать. Талантливый юноша попал в труппу театра рабочей молодёжи, а затем стал актёром знаменитой «Арбузовской студии», где получил сразу несколько ярких ролей. Изначально Залман выходил на сцену под своей настоящей фамилией, но руководитель студии Алексей Арбузов порекомендовал ему взять псевдоним в честь знаменитой в те годы балерины Елизаветы Гердт. С тех пор Залман Храпинович для зрителей превратился в Зиновия Гердта, хотя официально он сменил имя в паспорте лишь в 60-е годы.
С началом войны актёр отправился добровольцем на фронт и попал в сапёрный батальон. Участвуя в разминировании полей под Харьковом, он получил тяжёлое ранение в ногу и на целый год попал в госпиталь. Боец Храпинович перенёс одиннадцать операций, ему грозила ампутация, но благодаря усилиям хирурга Ксении Винцентини — супруги знаменитого конструктора Сергея Королёва — ногу удалось сохранить. Правда в результате операций повреждённая конечность укоротилась на целых восемь сантиметров, так что всю оставшуюся жизнь актёр прихрамывал.
Вернувший с фронта, Зиновий Гердт на костылях пошёл прямиком к Сергею Образцову — устраиваться в знаменитый театр кукол. Больше часа он декламировал со сцены стихи, после чего сразу получил роль в спектакле «Маугли». Этому театру Гердт отдал сорок лет жизни. Вместе с труппой он гастролировал по всему миру, а в постановке под названием «Необыкновенный концерт» произносил монологи на языке той страны, в которой проходило представление. В образе конферансье Эдуарда Апломбова актёр выходил на сцену больше пяти тысяч раз, разучив текст на 24 языках.
Карьера Зиновия Гердта в кино началась, когда ему было уже за сорок. Он предстал в биографической ленте «Человек с планеты Земля», затем сыграл в комедии «Семь нянек» и в сказке «Город мастеров». Всесоюзный успех пришёл к актёру благодаря Ролану Быкову — именно его Зиновий Гердт заменил сначала в мелодраме Петра Тодоровского «Фокусник», а затем и в комедии Михаила Швейцера «Золотой телёнок».
Поначалу Гердта просто попросили подыграть на пробах, пока основной актёр был занят на других съёмках. Однако Зиновий Ефимович так органично смотрелся в образе афериста Паниковского, что Быков сам начал умолять конкурента сыграть вместо него в картине. В эту роль Зиновий Гердт вложил всю душу — по его инициативе Паниковский из обычного жулика превратился в одинокого пожилого человека, вызывающего не только смех, но и сочувствие.
В жизни актёра было три главных женщины. Впервые он женился на актрисе Марии Новиковой, с которой познакомился ещё в Арбузовской студии. Девушка дождалась возлюбленного с фронта, и они сыграли свадьбу. В браке на свет появился сын Всеволод, который впоследствии стал теплофизиком. Однако рождение ребёнка не спасло молодую семью — Мария устала терпеть похождения мужа на стороне и подала на развод.
После этого в биографии Зиновия Гердта случился восьмилетний брак со скульптором Екатериной Семерджиевой, однако и этим отношениям пришёл конец. Когда актёру было 44 года он познакомился с переводчицей-арабисткой Татьяной Правдиной. Она помогала Гердту с переводом текста для спектакля «Необыкновенный концерт», когда между ними вспыхнуло взаимное чувство. На тот момент оба были несвободны, но это не помешало двум любящим сердцам. Зиновий и Татьяна развелись с предыдущими супругами и поженились, чтобы прожить вместе до конца дней. Актёр как родную принял дочь Правдиной от первого брака Екатерину, которая стала продюсером и режиссёром документального кино.
За свою долгую карьеру Зиновий Гердт снялся в сотне картин и добился успехов на телевидении. Он стал ведущим нескольких популярных передач, среди которых была и знаменитая «Киноафиша», где актёр делал обзоры на новые фильмы. Один из выпусков программы на долгие годы рассорил автора с давним другом Эльдаром Рязановым. Гердт негативно отозвался о его новом фильме «Жестокий романс», чем сильно расстроил режиссёра. По словам Рязанова, его задела не низкая оценка фильма, а тот факт, что Гердт предпочёл поделиться своим мнением на публику, но ничего не сказал в глаза при личной встрече. После этого случая режиссёр и актёр не общались много лет.
Они помирились, лишь когда стало известно о тяжёлой болезни Зиновия Гердта — на протяжении шести лет тот боролся с раком лёгких. К восьмидесятилетию друга Рязанов снял о нём фильм и подарил автомобиль с автоматической коробкой передач, о котором его Зяма давно мечтал. Однако в полной мере насладиться подарком Зиновий Гердт уже не успел: актёр скончался спустя два месяца после юбилея — 18 ноября 1996 года.