Купеческая династия Хлудовых началась с крестьянина деревни Акатово Егорьевского уезда Рязанской губернии Ивана Хлудова, человека энергичного и предприимчивого. Разбогатев на перепродаже скота, он вместе с семьёй в 1817 году переехал в Москву, к дяде жены - пивовару Афанасию Щёкину на Швивую горку. По семейному преданию отец вместе с сыновьями начал ткать кушаки и красить пряжу. Кустарное дело оказалось прибыльным. В 1844 году власти Егорьевска сдали Торговому дому Хлудовых неудобные земли на левом необжитом берегу реки Гуслицы...