Был самым богатым среди ярославских купцов, в городе у него было больше десятка домов: доходные дома, лавки, склады в центральной торговой части города. Пастухов внёс значительный вклад в развитие Ярославля: Хотя имя Николая Петровича Пастухова не так широко известно, как имена других ярославских меценатов (например, купцов Вахрамеевых или Дунаевых), его вклад в развитие города остаётся частью местной истории...

В самом центре города, на улице Комсомольской есть интересное архитектурное сооружение - дом Пастухова. История этого здания окутана множеством тайн и загадок, поговаривают, что здесь даже обитает призрак. Дом был построен в 1848 году на средства ярославского купца и мецената Николая Петровича Пастухова. Трехэтажное здание выделялось своей монументальностью. Его хозяин устроил здесь гостиницу и сдавал помещения под магазины. В народе о нем даже сочинили такое стихотворение: «На две улицы угольный Пастуховых здесь есть дом...