Памятник был построен в 1786-1787 годах по проекту Чарльза Камерона. Первоначально он назывался «Памятник Фридерике», то есть сестре Императрицы Марии Федоровны (жены Павла Первого) – Фридерике Вюртембергской, скончавшейся в 20 лет в 1785 году.
Позже умирают ещё несколько родственников Императрицы: сестра Елизавета Вюртембергская, брат принц Вюртембергский Карл, отец герцог Вюртембергский Фридрих Евгений, а затем и её мать, герцогиня Фредерика-София-Доротея.
В 1807 г. памятник перестраивается под руководством другого архитектора – А.Н. Воронихина: были установлены Чугунные ворота, декорированные перевернутыми вниз факелами и венками – эмблемами смерти. Был установлен скульптурный кенотаф работы И. Мартоса из белоснежного мрамора, изображающий Ангела и фигуру Плакальщицы, по сторонам которых помещены мраморные доски с именами умерших родственников. С тех пор памятник называется «Памятник родителям».
При перестройке памятника в 1807-1809 годах в тексте на мраморной доске была совершена ошибка: Фридерика умерла 13 ноября 1785, а на доске написана другая дата – 15 ноября 1783. С этой ошибкой памятник дошёл и до наших дней.
Во время Великой Отечественной Войны памятник не был повреждён.
На изображении 1810-х годов художника Тёрнера в центре перед памятником стоит Античный жертвенник, установленный в 1801 году. Сейчас находится в Храме Дружбы. На фотографии 1942 года он лежит перед немцами у самого памятника.