Одним из первых появился каменный двухэтажный дом дворян Дедюлиных (ныне пр. Октября, 11), возведенный в 1780х годах. Построил его ярославский почтмейстер, отец Якова Ивановича Дедюлина – прославленного героя 1812 года, руководителя народного ополчения Ярославской военной силы. Впоследствии дом переходил из рук в руки, а в 1851 году здесь разместился детский приют для девочек, носивший имя княгини Ольги Николаевны – дочери императора. Сам приют был открыт пятью годами ранее и поначалу размещался в доме Пастуховых. Поддержку этому учреждению оказывали купцы Друженковы и известные чаеторговцы Огняновы, «патроны» Семеновской церкви. А на средства Николая Петровича Пастухова при приюте была возведена нарядная трехэтажная пристройка – «сиротское отделение» для постоянно живущих воспитанниц. В 1887 году таких девочек в Ольгинском приюте было 25, а в дневные часы к ним прибавлялось 45 приходящих детей. В 1902 году при Ольгинском приюте появилась и собственная домовая церковь, освященная во имя святой Ольги.