Но постоянно приезжает домой
Ситуации действительно непростая - когда мужчина принял решение уйти из семьи и проживает в другом городе вместе с любовницей. И при этом, он приезжает к вам как к своей семье, ведёт себя соответственно, а потом уезжает к себе в город и снова чувствует себя свободным.
Вам нужно лишить его этого ощущения, что у него есть семья.
Попробуйте зайти с вопроса - "Слушай, коли ты решил что больше с нами не живёшь и нашей семьи уже нет, то давай мы будем жить порознь. С детьми можешь встречаться, либо забирай их себе в гости, либо просто проводи с ними время, а я хочу чтобы у меня было своё жильё"
Конечно всё немного усложняется, если это дом ваш общий и он может сказать, что имеет право в нём присутствовать. Тут у него больше зацепок, с помощью которых, он будет пытаться не позволить вам сделать то, что вы хотите. В этом случае ему можно задавать вопросы, как же сделать так, чтобы у вас появилось своё жильё, потому что вы тоже должны обустраивать свою жизнь и строить новые отношения.
Может быть он сразу согласится с вашими пожеланиями, такое тоже бывает. Ему, возможно, так будет даже лучше, потому что ему не нужно будет что-то из себя изображать.
В первую очередь вам нужно попробовать протестировать как он отреагирует на ваш вопрос ему - каким образом вам сделать так, чтобы у вас было своё жильё и он туда больше не приезжал.