Истоки группы восходят к датской панк группе Brats, которая распалась в самом начале 80-х годов. Трое ее участников (Ким Петерсен, более известный как King Diamond, Хэнк Шерманн и Майкл Деннер) формируют в 1981 году принципиально по иному звучащий коллектив под названием Mercyful Fate. К моменту записи первого альбома Melissa к парням присоединились Тими Хансен и Ким Разз. Дебютный релиз, вышедший в 1983 году, хоть и был по звучанию ближе всего к хэви металу, но изобиловал оккультной и сатанинской тематикой, что повлияло на еще зарождающуюся black metal сцену (ну и не забываем про характерный сценический имидж Кинг Даймонда). К тому же, пластинка полюбилась и фанатам тяжелого метала в Сан Франциско, где вставал на ноги thrash metal. В 1984 году датчане выпускают свою вторую пластинку Don't Break the Oath, закрепившую за ними культовый статус и оправляются в тур по Штатам. Однако, в скором времени между Кинг Даймондом и Шерманном: Хэнк настаивал на смене курса в сторону более коммерчес