Некоторые дома в Оломоуце имеют свое наименование, которые они получили в те далекие времена, когда о названиях улиц и нумерации домов еще никто не знал. Чтобы как-то обозначить и выделить свой дом среди многих других, богатые хозяева помещали на фасад дома какой-то памятный знак, изображение животного или предмета. Потом, в разговоре, этот дом называли «У Красного Быка» или «У Золотого Оленя». Естественно, сейчас каждый особняк в городе имеет свой адрес, но старые названия домов сохранились.
Дом «У Золотого Оленя» был построен богатым купцом на месте нескольких старинных построек. Этот особняк является одним из 15 домов, которые имеют общее название «Под богатыми магазинами». Впервые упоминание в литературе об этом доме мы встречаем в далеком 1362 году, однако есть предположение, что он был построен в самом начале XIII века. Такой вывод сделали местные краеведы, внимательно изучившие кладку и фундамент особняка «У Золотого Оленя».
В угловом доме, на фасаде которого с 1739 года красуется позолоченная фигурка сидящего оленя, располагалась пивоварня. Знак оленя появился на доме, благодаря одному из владельцев особняка – купцу Томасу Хиршу, чья фамилия переводилась как «олень». Поэтому знак на этом особняке «говорящий».
Дом много раз менял своих хозяев, а в 1709 году вообще сгорел дотла. Его за несколько лет отстроили заново. В оформлении особняка «У Золотого Оленя» использованы детали, созданные в разных архитектурных стилях.
В наше время дом принадлежит городскому совету. Этот особняк нуждается в значительном ремонте, но у города нет на это средств.