Несмотря на то, что начало истории Ярцева уходит глубоко в века (У истоков Ярцева), сам город возник сравнительно недавно и очень быстро стал одним из крупнейших в области. Всем этим он обязан Алексею Ивановичу Хлудову, который в 1873 году основал вблизи села Ярцев-Перевоз Ярцевскую Мануфактуру.
По тем временам это была не только самая западная текстильная фабрика Российского Государства, но и самое технически оснащенное прядильное и ткацкое производство, по отзывам современников, с высокой производительностью труда и современными английскими паровыми машинами и агрегатами. Управляющих и специалистов на Ярцевскую фабрику привлекали из Англии и Германии. Продукцией, которую выпускала фабрика, были в основном: бязь, миткаль, молескин.
Место для новой фабрики выбиралось весьма удачныо. Благодаря железной дороге Москва - Брест мануфактура связывалась с центром и западными губерниями страны. Через Смоленск проходила железная дорога Рига - Орел, которая через Рижский порт давала выход на зарубежные рынки. Большую роль играла и река Вопь - приток Днепра, протекавшая по значительной части лесной территории Смоленщины.
Старожилы рассказывали, что землю под фабрику Хлудов купил очень дёшево, интересен и сам его подход к этой сделке. Он устроил в деревне большое гуляние с музыкой и ведрами водки, пригласил на веселье всех крестьян и в конце «мероприятия» 40 десятин приобрел бесплатно, а за остальную землю заплатил копейки. Для строительства, а также под топливо он купил у помещиков около 12.5 тысяч десятин леса, которые доставлялись к месту строительства сплавом по реке.
Прежде чем приступить к строительству, Алексей Иванович ездил в Англию, чтобы изучить передовой опыт организации бумагопрядильного производства. В Лондоне он увидел недавно выстроенный Биг-Бен.
Башня с часами поразила воображение российского предпринимателя, и он решил построить ее аналог на фабрике, которую собирался организовать. Именно с нее началось строительство Хлудовской мануфактуры. На верхнем куполе башни, как и на лондонском Биг-Бене, установлены механические часы, и от них на этаж ниже спускались на цепях металлические гири. После войны, когда полуразрушенная башня была восстановлена, часы заменили на электрические. Но шли они недолго, требовали постоянного ухода, и их отключили.
Ярцевская Мануфактура стала крупнейшим предприятием Смоленской губернии. Фабрика преобразила селение, в котором она расположилась. Небольшая деревня, какой она была до этого, постепенно стала совершенно новым для Смоленщины типом поселения - фабричным селом. О нем стали упоминать в печати, в справочных изданиях.
"Село Ярцево, или Ярцев-перевоз, с фабрикой Хлудова имеет 9098 жителей, 22 лавки, две аптеки, аптекарский магазин, винную и пивную лавки, трактир, чайную, почту, телеграф, пожарную дружину, лесопильный и чугунолитейный заводы. Железнодорожная станция превратилась в крупный пункт сбыта товаров. При фабрике имеется частная библиотека и хорошо обставленная министерская школа".
Появился и новый тип населения-фабричный пролетариат, с характерным для него укладом жизни.
Уже в первый год начала действия мануфактуры на ней оказалось занято около 1000 человек, а к концу 19 века их численность доходила до 6000. Однако, условия труда и жизни рабочих оставляли желать лучшего. В тесных бараках проживали одновременно по 30-40 человек, заработную плату выдавали не своевременно, а при выдаче обсчитывали. Рабочий день составлял 12 часов. При этом, в составе рабочих преобладали женщины и дети в возрасте 10-15 лет.
В исторической литературе широко известны "Хлудовские стачки" рабочих, в том числе в 1880 году в Ярцеве-первое крупное выступление, открывшее собой целую полосу крупных стачек 80 годов в России.
Но самым чёрным временем в истории фабрики следует считать 1882 год. Известно, что враг всех деревянных строений, от крестьянских изб до царских палат – огонь. Когда в январе 1882 года случился пожар прядильного отделения, рабочих не выпустили с фабричного двора. Сотни людей сгорели из-за решения администрации бросить на тушение огня уставших после смены прядильщиков. За гибель людей никто не был наказан. Хозяин быстро ликвидировал последствия пожара, и 23 марта 1883 года станки вновь заработали. Только после пожара рядом с фабрикой начали строить каменные казармы.
Однако, и самих фабрикантов судьба не жаловала. Наследники мануфактуры умирали. Кто от болезни, кто от несчастных случаев. После смерти Алексея Михайловича, внука основателя фабрики, имущество перешло вдове его отца - Вере Александровне Хлудовой. Но уже в это время, она была лишь совладелицей предприятия.
Меняя владельцев и переходя из эпохи в эпоху, фабрика продолжала существовать и сохраняла производство. Во время гражданской войны, она поставляла ткань бойцам Красной Армии, а в годы Великой Отечественной пулемёт, установленный на башне с часами, первым встретил фашистский десант.
Фабрика Хлудовых навсегда преобразовала село. Вокруг нового производства росли обслуживающие его предприятия, открывались заводы. Уже при советской власти, в 1926 году, Ярцево, наконец, получило статус города. Если бы не мануфактура, наш город, скорее всего, так и остался бы небольшим селом Духовщинского района Смоленской области, коих немало вокруг. Но нет и, скорее всего, не появится в Ярцеве памятника её основателю.