Местечко Берг - прежде деревня в которой широко было развито мельничное дело. Позже оно становится предместьем Штутгарта и соединяется с городом конно-железной дорогой. В XIX веке здесь открывают минеральные углекислые источники и организуют очень популярные в последствии купальни.
В 1845 году, невдалеке от минерального курорта, начинается строительство загородной резиденции для кронпринца Карла (в последствии короля Карла I) и его жены Ольги Николаевны. Великая Княгиня Ольга получив хорошее образование, будучи сама наделена художественным даром и владея немалым приданным, утверждает весьма интересный проект своей будущей летней виллы. Архитектором строящейся Виллы стал Кристиан Фридрих Леинс, а окружающий Виллу парк в 24 акра обустраивал Фридрих Нойнер (Friedrich Neuner).
Королевская Вилла была выстроен в стиле неоренесанса (архитектурно-художественный стиль XIX столетия, использовавший формы времен Возрождения, в особенности итальянского чинквеченто). Парк разбитый вокруг резиденции был восхитителен. Платановые аллеи, большое количество фонтанов, скульптуры и цветов, делали его необыкновенно красивыми.
Надо сказать, что это удивительное место было закрыто для посещения простых горожан. Он оставался личными владениями правящей четы и скрывал их личную жизнь от любопытных глаз. Свободный доступ в парк открывался всего несколько раз в году в большие праздники. В 1853-55 годах, невдалеке от Виллы строится новая изящная церковь с готическим шпилем, по проекту доктора Гааба (Gaab). Строительство велось при поддержке правящей четы. На соседнем холме от Виллы Берг устраивается королевская вилла Розенштайн в римском стиле.
В знаменитом альбоме королевы Ольги осталось множество рисунков интерьеров Виллы Берг. По поручению Ольги Николаевны разные художники рисовали дворцы и дома, в которых она жила или останавливалась во время путешествий. Спальни и обеденные залы, парадные комнаты и гостиные заполнили королевский альбом за 50 лет жизни в Вюртемберге.
Изображения виллы Берг, замков Фридрихсхафена и Людвигсбурга, Нового замка, где королевская чета поселилась после смерти свекра и восшествия на престол Карла I в 1864 году, украсили этот своеобразный иллюстрированный путеводитель. На новой Вилле была устроена домовая церковь. Ольга Николаевна и в Германии продолжала исповедовать православие, поэтому церковь устраивалась в каждом ее дворце.
Жизнь в Германии оказалась не такой счастливой, как представлялось до брака. Непростые отношения сложились у великой княжны со свекром, королем Вильгельмом Первым, отличавшимся суровым и деспотическим характером. Да и сам Карл, за которого Ольга выходила по любви, отдалялся от нее. "После замужества начинается совсем иная жизнь, к которой примешиваются также и горькие воспоминания, несмотря на счастье домашнего очага",- с грустью писала Ольга. От депрессии молодую супругу спасала благотворительная деятельность, которой она активно занималась и которая ее прославила, и любовь к искусству.
Большим огорчением для королевы было то, что ее брак с Карлом оставался бездетным. Утешением стала племянница Вера, которую королевская чета удочерила. После смерти короля Карла и королевы Ольги Вилла Берг и перешла ей по наследству. Герцогиня Вера Константиновна долгие годы прожила в ней. Это стало любимым и уютным местом для сбора всей семьи. Не смотря на непростой характер герцогини, в семье ее любили и с радостью посещали ее дом.
В 1915 году Виллу и парк у дочерей-блезнящек герцогини Веры Константиновны выкупает город. Парк открывается для всеобщего посещения, а Виллу занимают множество популярных в то время клубов и обществ.
В годы Второй Мировой Войны Вилла Берг очень пострадала от бомбардировок. После восстановления она потеряла свои башни и некоторое декоративное и скульптурное оформление. С 1950 года здесь разместился "Большой зал записи" телерадиокомпании SWR (Südwestrundfunks).