О детстве Лавинии Фишер известно немного. По одной версии, она родилась в семье рабов, поэтому все ее юные годы прошли на плантационных хозяйствах. По другой версии, девушка была наследницей влиятельных и образованных жителей США, которые умерли, когда девочке было примерно пятнадцать лет.
Когда Лавиния повзрослела, ее признали одной из самых красивых девушек города. Поэтому девушка очень быстро познакомилась с обеспеченным наследником династии рабовладельцев Джоном Фишером, который моментально влюбился в Лавинию и сделал ей предложение. Когда молодые поженились, они устроились в своем доме в Чарльстоне, а спустя некоторое время открыли собственный бизнес – небольшую гостиницу «Six Mile Wayfarer House» на юге города. Отель сразу стал пользоваться популярностью у туристов и уставших путников. Лавиния и Джон славились своим гостеприимством и безупречными манерами. Постояльцы советовали гостиницу милой супружеской пары своим друзьям, а полиция, которая получала от Фишеров бесплатный ночл