В 1983 году в Лос-Анджелесе, пока все молодые музыканты влезали в лосины, братья Грегори и Джоуи Харджесы обратились к шок-року. Американцы основали группу, назвав ее в честь маньячки-убийцы 19-го века Лиззи Борден, а Грегори взял данное имя и в качестве псевдонима, и даже во время концертов размахивал микрофонной стойкой, стилизованной под окровавленный топор. Опираясь на более традиционный хэви, братья записывают песню Rod of Iron, которая попадает на культовый сборник Metal Massacre. Группа, подписав контракт с Metal Blade, выпускает EP Give 'Em the Axe, а в 1985 году выходит и полноценный студийный дебютник Love You to Pieces. К тому моменту состав коллектива разросся до квинтета,: помимо братьев в нем значились гитаристы Джин Аллен и Тони Матузак и басист Майкл Дэвис. Дебютная работа не имела крупного коммерческого успеха, но привела сформировала устойчивую фан-базу группы, которая значительно расширилась во время тура в поддержку альбома. По итогам концертной деятельности в 1986