По легенде, идея основать город возникла у маркграфа Карла III Вильгельма в 1715 году, когда он, утомившись от охоты, заснул под деревом на одном из местных лугов и ему приснился собственный город, который был «Карловой тишиной» (нем. Ruhe «тишина, покой»). Город начал строиться на территории между тремя древними (старше X века) населёнными пунктами: Мюльбургом, Дурлахом и Эттлингеном, из которых первые два по мере расширения города стали его частями. Впоследствии Карлсруэ стал столицей Великого герцогства Баден, что во многом определяет самосознание его жителей до наших дней. В годы Первой мировой войны на город был совершен налет французской авиации. В результате бомбардировки погибло и было ранено более сотни мирных жителей[7]. Во время Второй мировой войны значительная часть города пострадала от бомбардировок союзников.
Основатель города Карл III Вильгельм оставил свой след не только в названии города, но и в его необычной застройке: маркграф выразил пожелание, чтобы все главные улицы его города лучеобразно расходились в стороны от центрального дворца, построенного в стиле барокко (1752—82, архитекторы Л. Ф. де ла Гепьер, Ф. А. Кеслау). 32 улицы-луча центральной части города были соединены позднее двумя кольцевыми дорогами. С тех пор столицу баденского региона называют городом-веером. Существует также гипотеза об астроморфном происхождении планировки города: в соответствии с этой гипотезой звёздным прототипом города послужило выделенное на звёздном небе незадолго до основания города созвездие Секстанта.
В первой трети XIX века архитектор Фридрих Вайнбреннер застраивал Карлсруэ классицистическими зданиями. Южная часть города — новый Карлсруэ со зданиями XIX—XX веков. В середине города на Рыночной площади находится ставшая символом города пирамида, под которой похоронен основатель города маркграф Карл Вильгельм.