Был построен в 1820-е годы по приказу Александра I в качестве Императорского путеводного дворца. Все губернаторы Ярославля использовали дворец как резиденцию. А императоры от Александра I до Николая II останавливались здесь, посещая Ярославль. В 1860-х гг. дворец был перестроен, а в 1880-х проводился масштабный ремонт. После революции здесь сначала был открыт штаб НКВД, а затем технологический институт. В саду был обустроен парк аттракционов. В 1970-м г. во дворце расположили Ярославский художественный музей, который здесь до сих пор.