На месте современного особняка в 18 веке располагался Мытный двор, который после пожара 1736 года был отстроен архитектором Растрелли. Здание получило название Деревянного Зимнего дворца. Его облюбовала для себя Елизавета Петровна. Она жила в нем до момента постройки Зимнего дворца из камня. Он протянулся от Малой Морской до Мойки, имел парадные залы с видом на Невский проспект, спальни для императорской семьи и театр, где выступали известные артисты того времени. Именно в этом дворце императрица скончалась, после чего здание простояло полгода и было разобрано, сохранив лишь три флигеля.
В 1767 году в бывших дворцовых помещениях развернулась творческая деятельность скульптора Фальконе. На месте пустыря был построен дом для генерал-полицмейстера Николая Чичерина, стоявший на сохранившемся каменном фундаменте. После наводнения Петербурга 1777 года генерала обвинили в бездействии перед лицом стихии. До заключения или казни он не дожил.
После него дом перешел к одному из богатейших людей страны Александру Перетцу, который превратил часть дома в место проведения концертов и светских мероприятий. Среди посетителей можно было встретить прозаика Александра Радищева, литератора Дениса Фонвизина, скульптора Федота Шубина и архитектора Джакомо Кваренги.
В 1858 году братья Григорий и Степан Елисеевы, сыновья известного предпринимателя Петра Елисеева, стали владельцами этого участка. Они прекрасно понимали, что совершают удачную сделку. В те времена бытовало мнение, что «лучше иметь доходный дом в Петербурге, чем золотые прииски в Сибири». Братья решили воспользоваться этой возможностью для приумножения своего состояния.
Петр Елисеев в Санкт-Петербурге прославился как крупный торговец колониальными товарами, среди которых были вина, экзотические фрукты и разнообразные сыры. Он уделял особое внимание качеству продукции и доступности цен, а также всегда придерживался принципов честного ведения бизнеса. Эти же принципы разделяли его дети и внуки.
В Санкт-Петербурге династия Елисеевых создала настоящий шедевр — роскошный «Дом Елисеевых». Это был первый в России торгово-развлекательный комплекс. На первом этаже размещались торговые прилавки, где можно было приобрести разнообразные товары. Второй этаж был отведён под театр, а на третьем располагался изысканный ресторан.
В истории семейства Елисеевых был трагический эпизод. Пятидесятилетний Григорий Григорьевич, внук основателя династии, увлёкся молодой женой купца второй гильдии Верой Фёдоровной Васильевой, которая была младше его на двадцать лет. Он настойчиво просил жену Марию Дурдину о разводе, обещая ей щедрые отступные. Однако Мария надеялась на его исправление. Уехав на лечение «на воды», она вернулась и обнаружила, что Григорий построил новый дом на Васильевском острове и переехал туда с любовницей. Это стало для Марии невыносимым ударом — она совершила самоубийство. Вдовец быстро женился на своей возлюбленной и даже не прислал венка на похороны бывшей супруги.
Их дети уже достигли зрелого возраста, за исключением младшей дочери Марии, которой было лишь пятнадцать лет. Но все они отвернулись от отца из-за его предательства семьи. После ссоры с родителем сыновья потеряли интерес к купеческому делу. Николай обосновался в Париже и стал журналистом, специализирующимся на биржевых новостях, а Сергей нашёл себя в преподавании иностранных языков в Сорбонне. Третий брат, Александр, выбрал карьеру инженера. Он остался жить в Ленинграде, где и провёл свои дни до 1953 года. Наиболее трагичной оказалась судьба старшего брата Григория и младшего брата Петра. В 1937 году они были арестованы и скончались в лагере. А Мария накануне революции вышла замуж за юнкера, которого вскоре расстреляли большевики. На этом её след теряется.
В итоге мужская линия рода Елисеевых в России прекратила своё существование. Те потомки, которые оказались за границей, не продолжили семейное дело купцов и не унаследовали традиции династии, так как среди них не оказалось ни одного коммерсанта.
В 1919 году, после национализации особняка Елисеевых, в его стенах разместился Дом искусств — культурное общество, инициатором создания которого стал Максим Горький. Это место стало центром притяжения для творческой интеллигенции, где собирались видные писатели и художники того времени. С 1924 года здание стало домом для рабочего кинотеатра «Светлая лента». Спустя семь лет, в 1931 году, кинотеатр сменил своё название на «Баррикада». В этот период в особняке трудился молодой композитор Дмитрий Шостакович, который работал музыкальным иллюстратором.
В 1997 году в здании был открыт клуб «Талион». Попасть сюда могли только VIP-гости. В 2009 году игорный бизнес стал вне закона в стране, и особняк переделали под отель «Талион Империал», который располагается тут и по сей день, а его интерьеры давно полюбились кинорежиссёрам. Отель стал съёмочной площадкой для множества известных фильмов, таких как «Агония», «Жертва для императора», «Страх над Невой» и «Всё ок».