Немного истории: в 1666 году Кольбер, министр финансов Франции при Людовике XIV, приказал установленной верфи строить корабли недалеко от города Рошфор, который находится в устье реки Шаранта. Форт, построенный посередине пролива, вместе с береговыми батареями мог бы блокировать проход к верфям, создавая перед кораблями противника «огневой барьер».
Однако легендарный инженер-фортификатор Себастьян Ле Претр де Вобан, которому Людовик XIV предложил возглавить строительство, отказался, возразив королю: «Сир, легче ухватиться за луну зубами, чем построить крепость в таком месте».
К идее постройки форта вернулись в начале XIX века. К тому моменту строительные технологии уже позволяли сооружение подобной крепости, а необходимость в ней оставалась весьма насущной — внешняя политика Наполеона I сильно осложнила взаимоотношения Франции с Великобританией.
При строительстве фундаментов форта каменные блоки устанавливались непосредственно на морское дно. Вскоре строители столкнулись с серьёзными техническими трудностями — каменные блоки уходили в грунт под собственным весом, перекашивались и разъезжались.
В итоге в 1809 году строительство крепости было приостановлено и возобновилось лишь в 1837 году, во время правления Луи-Филиппа I, когда отношения с Великобританией вновь стали весьма напряженными.
Гарнизон Байяра состоял из 250 человек. Однако к моменту завершения строительства форта оказалось, что крепость в общем уже не нужна. За 50 с лишним лет, прошедших с момента закладки форта, дальнобойность артиллерийских орудий сильно увеличилась, и теперь береговые батареи с лёгкостью перекрывали пролив.
Таким образом, необходимость в новопостроенном форте отпала, однако он остался в ведении Военного ведомства Франции и впоследствии использовался как тюрьма, не участвуя в боевых действиях.
Начиная с 1980 года интерес к форту Бойяр проявляет телевидение. В частности, Филипп Де Дьелевель, ведущий популярной программы «Охота на сокровища», в одном из выпусков которой герой должен найти табакерку Наполеона, спрятанную в Форте. В том же году торговая палата Рошфара получает предложение реконструировать Бойяр. Никого, однако, заинтересовать восстановлением форта не удается. Проект приостановлен. В 1989 году Эрик Эрт перепродаёт форт Бойяр за 1,5 млн франков продюсеру телевизионных игр Жаку Антуану, который подыскивает площадку для своего нового шоу.
В 1989 году начинается реконструкция Бойяра. В 25 метрах от него сооружена платформа для причала судов (старый фортовый пирс был давно разрушен). Форт был полностью очищен от огромного слоя гуано (толщиной 50 см). Оборудованы оба зала для одноимённой телеигры . В 1996 году восстановлены и артиллерийские платформы. Однако форт по-прежнему подвергался вредным воздействиям с моря. Поэтому в 1998 году производятся дополнительные реставрационные работы. Полностью очищаются внешние стены и завершается герметизация террасы. Завершающим этапом явилось восстановление центрального двора зимой 2003—2004 годов.
Форт Бойяр имеет три главных уровня. На всех трёх уровнях расположены балконы, коридоры и кельи. Таких келий в форте более 70. Названы они так из-за небольшого размера и минимального убранства. В XIX веке в кельях обитал гарнизон форта, а также там хранилось оружие и запасы. В настоящее время в кельях находятся механизмы, использующиеся во время игр, а также техническое оборудование, необходимое для проведения телеигры. На крыше форта обычно проходит состязание канатоходцев, также над последним уровнем форта расположена небольшая башня, служившая обзорным пунктом.