Невозможно угодить всем и каждому. При принятии решения, какой дать ответ, ориентируйтесь на себя и свои желания.
Если вы человеку откажете он может отреагировать как угодно, вплоть до прекращения отношений, и это тоже его право. Но он может прервать отношения и без вашего отказа, просто потому что ему что-то не понравилось.
Что может случиться, что самое страшное, если вы откажете этому человеку? Задумайтесь, о чем этот страх?
И нужны ли вам отношения, где вы должны быть согласны на все?