Гердт не являлся эталоном мужской красоты, но женщины находили его неотразимым. Он покорял сердца дам своим проникновенным голосом, неистощимым юмором и эрудицией (стихи любимых поэтов он мог читать часами). Актер был любвеобилен: дважды вступал в законные браки и столько же раз в гражданские союзы, пока не встретил "ту самую, единственную".
Со своей первой женой актрисой Марией Новиковой Зиновий познакомился в театральной студии Арбузова. Скоротечный роман завершился свадьбой накануне войны. На фронте Гердт получил тяжелое ранение в бедро, долго лечился в госпиталях и вернулся домой незадолго до Победы. Он устроился на работу в кукольный театр Образцова. За ширмой хромота (левая нога стала короче на 8 сантиметров) не была для него помехой.
Семейная жизнь пары не задалась с самого начала. Гердт собирался расторгнуть брак, но рождение сына Всеволода нарушило его планы. С Марией он фактически не жил, однако содержал семью и навещал ребенка. Через одиннадцать лет они официально развелись — актер воспылал страстью к скульптору Екатерине Семерджиевой, на которой вскоре женился.
Второй брак продлился 8 лет и был бездетным. Причиной разрыва послужила встреча Зиновия с переводчицей-арабисткой Татьяной Правдиной. В 1960-м году руководство кукольного театра пригласило ее на гастроли по арабским странам.
Едва познакомившись с Татьяной, актер поинтересовался, есть ли у нее дети. Узнав, что она замужем и имеет двухлетнюю дочь, Зиновий сказал: “Годится!”. Правдину шокировала такая бесцеремонность, а Герд, по его словам, мгновенно для себя решил: “Гром греми, земля перевернись, но я женюсь на этой женщине”.
Актер начал ухаживать за Татьяной еще в самолете и все полтора месяца гастролей не отходил от нее ни на шаг. Его усилия по обыкновению увенчались успехом: Правдина ушла от мужа забрав ребенка и они поселились на съемной квартире. Татьяна стала “окончательной” женой Гердта, а ее дочь Катю он растил как собственную. Уже будучи взрослой, девушка взяла фамилию приемного отца и не меняла ее в замужестве. Общих детей у супругов не случилось.
Зиновий не забывал о сыне, но из-за занятости виделся с ним нечасто. Татьяна сама организовывала их встречи, что задевало подростка. К тому же он хотел общаться с отцом наедине, а мачеха всегда находилась рядом. Обиды накапливались, и в итоге Сева перестал приходить к ним в дом. Гердт пытался восстановить отношения, но ничего не вышло. Со временем ситуация не изменилась к лучшему — отец и сын жили в одном городе как чужие люди.
Правдиной удалось перевоспитать мужа, хотя она была моложе на 12 лет. Герд больше не искал любовных приключений. Они жили дружно и весело, вместе ездили на зарубежные гастроли, много времени проводили в своем загородном доме в Красной Пахре (друзья называли его “центром управления добрыми делами”). Счастливый брак продолжался 36 лет.
В последние годы жизни Зиновий Ефимович тяжело болел — в 1990-м году у него диагностировали рак легких, но работал до самого конца. 18 ноября 1996-го года актер скончался в своей квартире на руках у жены и был похоронен на Кунцевском кладбище.