Если мужчина воспитан традиционно и принимает де-факто установленные в обществе нормы, для него эти слова, как принято и в обществе - это серьёзно. Это не те слова, которые говорят всем подряд или каждый день, эти слова знаменуют переход через Рубикон в отношениях, и самое главное - эти слова обязывают и предполагают дальнейшие действия. Например, если сказать: "Я люблю тебя, давай как-нибудь пересечемся дней через пять, я до этого буду занят" - такое будет звучать уже дико)
А раз эти слова обязывают, они могут быть некомфортны тому, кто не хочет (или пока не может, не готов!) ответить симметрично.