В XV веке территория нынешней Финляндии была разделена между Швецией и Русью, и у обеих сторон часто возникали споры по поводу границ на этой земле. Дабы положить конец постоянным спорам и обезопасить свои границы, датчанин Эрик Аксельссон Тотт решил возвести пограничную крепость на маленьком скалистом островке между озерами Хаапавеси и Пихлаявеси.
Строительство началось 1475 году и осложнялось набегами Московского княжества. Московский князь считал эту землю своей и постоянно мешал работе: захватывал корабли, разрушал укрепления и выгонял шведов с острова. Строительство крепости было завершено в XV веке силами каменщиков из Ревеля.
Изначально замок носил название Нюслотт (Новый замок), но позже его назвали в честь почитаемого скандинавами защитника рыцарей Святого Олафа - Олафсборг, на финский манер - Олавинлинна.
В 1554-1557 годах в разгар русско-шведского конфликта замок обзавелся своей первой легендой. По легенде дочь шведского смотрителя полюбила русского офицера из войск осаждающих замок и ночами тайно уходила к нему на свидание. В одну из ночей, офицер не пришел на назначенное место и разволновавшись девушка опустила подвесной мост и ушла на его поиски. Отец воспринял это как предательство и живьем замуровал ее в крепостной стене. На месте казни девушки взошла рябина - ее белоснежные цветы символизировали чистоту и невинность, а красные ягоды - пролитую кровь.
Изначально крепость имела всего три башни и соединяли их высокие стены, но в 1714 году входе Северной войны южная башня была уничтожена русскими войсками. Позднее были возведены две круглые башни, которые соединялись куртинами.
Изначально в крепости имелся всего один вход с подвесным мостом из дерева, его быстро поднимали в случае нападения. В процессе укрепления в XVII веке, у северной стены был сделан тайный ход.
Крепость Олавинлинна часто переходила в руки то шведов, то русских. Обе страны внесли огромный вклад в перестройку и модернизацию замка. До признания независимости Финляндии, крепость оставалась в руках русских.
В 1809 году крепость потеряла свое военное назначение и на короткое время превратилась в тюрьму.
Крепость горела дважды и после реставрации 1872-1877 было принято решение отдать ее под защиту государства. В начале XX века ее начали использовать как место для проведения фестивалей и концертов.