Первую жену Андропов жестоко бросил, а вторая пострадала из-за его работы, после чего так и не оправилась до конца своих дней.
История с первой женой получилась, мягко говоря, некрасивой, хотя начиналось всё — на зависть знакомым. Андропов с юности умел ухаживать, нравиться женщинам: симпатичный, обаятельный, щедрый на комплименты, красноречивый, амбициозный. Нине Ивановне Енгалычевой Юрий Андропов понравился.
Когда они познакомились, ему было чуть больше двадцати лет, и учились они оба в Рыбинском техникуме водного транспорта: Андропов на судоводительном отделении, она — на электротехническом. В 1935 г. сыграли свадьбу. Енгалычева отлично подходила ему ещё и из карьерных соображений. У неё, отличницы и активистки комсомола, отец — рабочий, сапожник, счетовод, член ВКП (б) и к тому моменту — управляющий Череповецким отделением Госбанка.
Карьера Андропова сразу после женитьбы пошла в гору (сыграл ли свою роль в этом тесть… кто знает). В 1937 г. молодой функционер стал секретарём горкома комсомола, а через год — первым секретарём Ярославского обкома ВЛКСМ. Жили супруги в Ярославле, у них родилось двое детей, дочь Евгений и сын Владимир.
Идиллия оборвалась внезапно в 1940 г. Андропова отравили на комсомольскую работу в Карело-Финскую ССР, а жена с детьми осталась в Ярославле, где трудилась в архиве НКВД. Почему не поехала с ним, неизвестно. Общение прекратилось.
Спустя год Нина Ивановна получила от мужа письмо: «Я встретил другую, хочу получить развод». Оказалось, в Петрозаводске Андропов познакомился с Татьяной Филипповной Лебедевой, тоже комсомолкой. Он влюбился и, как только развёлся, сразу на ней женился. С бывшей женой сам он поступил совсем не по-комсомольски, помогал ей и детям редко.
С сыном и дочерью от первого брака Андропов тоже общался мало, сына и вовсе «запустил» — Владимир оказывался на скамье подсудимых за воровство (дважды сидел), спился и скончался 35-летним в Тирасполе. Отцу было не до него — всё взбирался по партийной лестнице.
О семейной жизни Андропова и Татьяны достоверных сведений ещё меньше. Говорили, она была с характером — и мужниной зарплатой распоряжалась, и с ним самим совладать могла. Другие, напротив, считали её вежливой, деликатной, доброй. Сын Игорь вспоминал свою маму как очень заботливого, хотя и строгого человека («ей в семье никто не мог перечить»). Так или иначе, всё у них сложилось неплохо — дети (сын и дочь), налаженный быт. Но это — лишь до 1956 г. К тому моменту Андропов уже пару лет служил послом в Венгрии, куда перевёз и семью. Жена охотно показывалась на людях, производила хорошее впечатление, умела найти общий язык с людьми.
Всё изменило Венгерское восстание. На Андропова дважды покушались, на улицах Будапешта венгры расправлялись с коммунистами. Картины разгневанной и бушующей у посольства толпы страшно перепугали Татьяну, подорвали её психическое здоровье. Вернувшись в Москву, она стала вести очень уединённую жизнь, почти всё время проводила дома, боялась больших скоплений людей, мучилась гипертоническими головными болями и пила какие-то психотропные препараты. Ходил даже слух, что она «немножечко того»… В отличие от своих предшественниц и преемницы на посту «первой леди» СССР, Андропова никогда не сопровождала мужа-генсека на официальных приёмах или в международных поездках.
Овдовев, Андропова скромно доживала свои годы в московской квартире — до самой кончины в 1991 г.