В 1850 году титулярный советник Порфирий Николаевич Григорьев выиграл на торгах участок земли недалеко от Георгиевской башни Нижегородского кремля. По его заказу архитектор М. К. Ястребов разработал проект двухэтажного каменного дома с каменным подвалом. Годы постройки дома – 1850–1851.
Позднее дом стал принадлежать управляющему Нижегородской конторой пароходного общества «Меркурий» Н.А. Брылкину и сдавался внаём. В 1875 г. эта усадьба принадлежала Пароходному обществу «По Волге».
С сентября 1857 по январь 1858 гг. здесь проживал Тарас Григорьевич Шевченко. Шевченко направлялся из Оренбургской ссылки в Петербург, но уже в пути его догнало запрещение проживать в обеих столицах и он был вынужден остановиться в Нижнем.
Здесь же появилось на свет стихотворение «Неофиты».
В 1858 году в этом же доме в квартире управляющего пароходством останавливался – Александр Дюма (отец).
Дюма после Петербурга и Москвы приехал в Нижний Новгород. Он хотел увидеть знаменитую Нижегородскую ярмарку. "Перед нами открылось такое зрелище, что я ахнул от удивления. С высоты мы увидели слияние Волги и ее притока Оки..." - написал он позже.
В 1968 году горьковские архитекторы обратились с просьбой в Союз Архитекторов СССР о с приспособлении его под Дом архитектора.
В ноябре 1969 г. было проведено расселение жильцов 13 квартир и началась реконструкция дома.
30 июня 1973 г. состоялось торжественное открытие Дома архитектора.
Сейчас в Дом архитектора проводятся выставки и концерты. На первом этаже неплохое кафе и магазинчик сувениров, книг об истории Нижнего Новгорода, ну конечно же об архитектуре.