Панин рассказал, что долгое время был влюблен в актрису театра и кино Татьяну Арнтгольц. Они вместе принимали участие в съемках. Алексей пытался ухаживать за Татьяной, однако был отвергнут. Актер признается, что так и не смог покорить сердце Татьяны.
С особенной теплотой Алексей вспоминает романтические отношения с актрисой Любовью Зайцевой. Панин вспоминает, что однажды даже совершил ради любимой опрометчивый поступок и прыгнул в холодную реку Сену, когда они вместе были на отдыхе в Париже. Ему даже приходилось не раз закладывать свой автомобиль, чтобы преподнести Любе очередной шикарный подарок.
Также Панин непродолжительное время состоял в отношениях с Мариной Александровой. Он признается, что у них были довольно сложные отношения. Он не делал актрисе дорогих подарков и не делал ради неё необычных поступков. Панин говорит, что до сих пор должен Александровой деньги, за то, что разбил её автомобиль.
Следующей пассией Панина была Екатерина Шпица. Отношения с ней у актера завязались, когда она была малоизвестной широкой публике и только начинала свои первые творческие шаги. Он признается, что много раз, искал в её объятиях утешения и звонил, когда ему было плохо. Панин говорит, что однажды стоял даже на коленях перед актрисой и просил её его не бросать. Пара рассталась, из-за проблем Алексея с алкоголем.
Официально Алексей Панин был женат только один раз на Людмиле Григорьевой, брак с которой продлился чуть больше года.
Они развелись с Алексеем из-за его постоянных измен и гулянок, с которыми молодая супруга не желала мириться. Однако, Алексей до сих пор вспоминает с теплотой отношения с Людмилой и жалеет, что их брак распался.