Отвечаю на общий вопрос, ситуативно ("а что если родители/супруг/начальство") разбираться нет возможности.
А ответ простой: молчать не вариант - встали и пошли. Кроме шуток - каждый 2-й клиент по семейным/межличностным вопросам убеждён, что есть некий набор волшебных формул и ритуалов, который себя позволяет вести в любых конфликтных ситуациях "правильно", в них оставаясь и, как в народе говорят, "обтекая".
А их нет. Есть не правило, но принцип - самоуважение + уважение к "оратору", пусть он даже голос и поднимает. В большинстве случаев - заключается в обозначенном: сообщили, что в таком тоне общаться не намерены, попрощались и пошли.
Всё, что этому мешает - какие-то внутренние эмоциональные проблемы, возможно, но поведенчески оптимальный вариант обычно такой.