Одним из первых хозяев этого дворца, был один из ее многочисленных фаворитов Екатерины II камер-юнкер Жихарев, который был убит другим любовником императрицы, Платоном Зубовым. Будучи человеком, очень ревнивым, он подослал к красавцу юнкеру наемных убийц, опасаясь того, что тот вскоре займет его место рядом с императрицей. С тех по призрак невинно убиенного юнкера бродит в Белом зале, месте своей смерти, взывая об отмщении.
Дух крепостной актрисы
После смерти Екатерины Второй во дворце поселился граф Шереметьев со своей возлюбленной крепостной актрисой Прасковьей Жемчуговой. История любви графа и актрисы была трагической. Влюбленные заключили брак, но вскоре после родов молодая графиня умирает. Любовь Прасковьи к своему мужу была так сильна, что она не смогла оставить его навсегда, ее тень до сих пор иногда появляется на стене дворцовых покоев.
Барон Дельвиг, исполнивший обещание даже после смерти
Еще одним призраком, связанным не столько с Шереметьевским дворцом, сколько с его окрестностями стал Антон Дельвиг, который при жизни был человеком суеверным и настроенным мистически. Он проживал неподалеку. Однажды он дал обещание своему другу Н.Левашову явиться к нему после смерти, кстати, заставил друга дать ему такое же обещание. В итоге Н. Левашов рассказал, что ровно через год наблюдал призрак барона Дельвига в своем кабинете.
Шумный дух Антона Рубинштейна
Еще один призрак, любит появляться в этих местах, шумно обставляя свое появление. Это Антон Рубинштейн, который проживал в доме номер 38, по Троицкой улице. Так вот около дома призрак и появляется, а из окон в эти дни слышится его музыка.