Мы знаем, что некоторые слова в русском языке начинаются на Й.
Например, йод, йогурт, йога и др.
Но почему же тогда мы пишем ёж и ёрш?
Причина в происхождении слов.
Слова ёж и ёрш восходят к общеславянским jezъ и jersъ.
От этих общеславянских слов возникли древнерусские ежь и ершь, в которых изначально была именно Е.
Но в древнерусском языке происходило много сложных процессов, один из которых называют переходом [е] в [о]. То есть в определённых условиях звук [е] стал произноситься как [о]. Но если условия менялись (положение в слове, соседние звуки), то и [о] мог обратно переходить в [е].
Сейчас мы видим последствия этого процесса — чередование Ё/Е:
ёж — ежи — ежовый,
ёрш — ерши — ершовый,
мёд — медовый,
полёт — полетел.
Отсюда и графическое сходство буквы Ё с буквой Е.
А слова йогурт, йод, йога и др. пришли в русский язык значительно позже, сохранив орфографическое сходство с источниками.