В 1290 годах Швеция начинает очередной крестовый поход, третий по счету, с целью донести слово божье до еретиков, а по факту просто расширить свои земли за счет владений Господина Великого Новгорода.
После ряда успешных действий шведы под руководством маршала Торгильс Кнутссона на месте деревянной крепости карелов расположенной на каменистом острове, возвели мощный, каменный опорный пункт, построив его по всем правилам фортификации того времени. Это был один из трех замков, которые возвели шведы на территории Финляндии. Другие располагались в нынешних городах Турку и Хямеенлине. Толщина возведенных стен составляла 1,5 – 2 метра, а толщина стен главной башни названой в честь норвежского короля, крестителя Скандинавии Олафа Святого, составляет порядка 4 метров.
Новгород несколько раз, безуспешно пытался захватить крепость. В итоге в 1323 году по Ореховскому мирному договору, часть Карельского перешейка вместе с Выборгом отошли к Швеции. Почти на 400 лет замок стал надежным форпостом на юге шведским королям.
Кардинальные изменения произошли только в 1710 году. Петру I в ходе Северной войны отвоевать крепость и город, а так же ряд других территорий которые позволили надежно закрепиться на побережье Финского залива. По Ништадтскому мирному договору 1721 года, Выборгский замок оказался на территории Российской части Финляндии.
После отвоевания Выборга Россией, крепость потеряла свое военное значение и постепенно начала приходить в упадок. Пожар 1856 года довершил дело, замок на тридцать с лишним лет оказался заброшен. Вторую жизнь крепости дал Александр III, по его указу с 1891 по 1894 год была произведена реконструкция замка.
Руководил работами инженер – полковник Э. фон Лезедов. Были изменены внутренние помещения, но при этом почти не изменился внешний вид замка. В таком виде он и дошел до наших дней, пережив Финскую и Великую Отечественную войну.
Сейчас в нем расположен Государственный музей Выборгский замок.