В конце XII века Швеция отняла земли карелов у Новгородской республики. Для того чтобы удержать новые владения, в 1293 году, по приказу регента Торгильса Кнутсона, на Замковом острове возвели квадратную каменную башню. Её назвали в честь короля Олава Святого, и она стала основой нового замка, получившего имя Выборг.
Долгое время башня считалась самым высоким донжоном в Скандинавии. Новгородцы