Эта крепость была надежной крепостью в период войны литовцев с Тевтонским орденом. После победы в Грюнвальдской битве в 1410 году это укрепление утратило оборонительное значение и превратилась в постоянную резиденцию великого князя литовского Витовта Гедимина. Здешние места в Тракае для сооружения крепости присмотрел еще Гедимин (1275-1341) - основатель рода Гедиминовичей. Он оставил заметный след в истории своими успешными военными походами и принудил своих соседей к миру. Его собственно считают отцом-основателем столицы Литвы Вильно, где на высоком берегу реки Виляй он и был похоронен после своей неожиданной гибели. Один из его сыновей князь Кейстут получил в наследство замок в Троках (Тракае). Уже при жизни своего отца Кейстут в 1375 г. переселился в Новые Троки — современный Тракай. Одновременно он начал строительство островного замка. В 1377 году защитники тракайской крепости отразили атаку тевтонских рыцарей. Из-за гибели князя Кейстута достраивал до 1409 года крепость Витов