Недалеко от "Франкской скалы" в XI веку стоял замок Лютцельбах, первым известным его владельцем был Людвиг фон Рейц Лютцельбах (упоминается в 1115 году). Он по сути и является первым известным нам предком фон Франкенштейнов. Но его предки видимо жили в этом регионе издревле. Так как он был владельцем наследственных аллодов. Возможно он, или кто-то из его предшественников в 1050 году был назначен фогтом Фульдского аббатства в близ лежащих землях в Оденвальде. Его внук Викнанд фон Лютцельбах упоминается в 1160 году. Сын Викнанда Конрад I фон Лютцельбах около 1180 года построил замок Бройберг. Один из его сыновей Конрад II фон Бройберг (умер в 1264) построил в первой половине XII века построил на "Франкской скале" замок, который так и назвал "Франкенштейн". И либо это Конрад, либо его сын от брака с Элизабет фон Вейтерштадт, которого звали тоже Конрад, взял себе родовое имя от замка, и он и его потомки начали называться фон Франкенштейн. Конрад I фон Франкенштейн (умер около 1292) был