Не доверяй ушам - лучше посмотри: в русском языке есть слова, которые часто произносятся не так, как пишутся
Так, наряду с «кофе» в России использовались «кофей», «кофий», «кохей», «коф», «кофь», «ков», «кефа», «кафе». Некоторые из этих слов - кофей, кофий и кафе - употреблялись вплоть до XX века и не считались разговорным вариантом. К тому же слова могут заимствоваться из нескольких языков сразу, где они по-разному произносятся. Тот же «кофе» пришел из немецкого (der Kaffee), французского (le сafé) и голландского (koffie). Во всех трех языках название этого напитка было мужского рода, отсюда и столь нелогичный для русского языка мужской род у слова, оканчивающегося на -е...