С Томой он познакомился в 1957 году, когда поступил в Ленинградский театральный институт имени А.Островского. Девушка училась на параллельном курсе. Румянцевой было 20, а Виторгану 17. Они быстро подружились.
Много общались. А на уроках актерского мастерства часто играли любовные сцены. Ну и все это переросло в чувства.
В 1961 году окончили вузы по распределению уехали в Псков, в драмтеатр. Через полтора года сыграли скромную свадьбу. А в 1963 вернулись в Ленинград, жить стали у родителей Тамары. Служили в Театре драмы и комедии на Литейном. А потом Эммануил перешёл в театр имени Ленинского комсомола.
Жили душа в душу. Весной 1966 года родилась Ксюша. Виторган любил с дочкой возиться.
А потом все стало рушиться. Потому что в труппу театра пришла новая актриса - Алла Балтер.
Артист потерял интерес к Томе. Однажды не пришел домой ночевать. Тамара уже знала, что у Эммануила и Аллы роман.Потому не гадала, куда исчез "милый".Тома его очень сильно любила.Но унижать себя скандалом не стала. И когда блудный муж вернулся , выставила чемодан.
Виторган безумно полюбил Аллу. Актер ушел от Тамары и пятилетней Ксюши. Девочка сильно переживала почему папа больше не живет дома.
С Аллой Виторган в 1971 году решили перебраться в Москву. Через год Алла родила сына. Тамара с дочерью в 1975 году переехали в Петрозаводск. Созванивались актер с дочкой Ксюшей редко. Эта тоненькая связь возобновилась после 1986 года. Тогда дочь позвала актера на свадьбу. А он взял и приехал. И они стали худо бедно общаться.
В 2000 Алла Балтер умерла в 60 лет от рака позвоночника. Виторган женился на Ирине Млодик, которая младше его на 23 года.
Одним из достижений своей третьей супруги Эммануил Виторган считает и то, что она попыталась помирить его со старшей дочерью Ксенией Румянцевой.
Млодик и Виторган стали родителями дочерей - погодок будучи уже в годах.