Основное население Каргополя составляли крестьяне, главным образом черносошные. Они сидели на государевых землях и за право обработки ее несли тягло, платили подати и выполняли различные повинности. Характерной повинностью для крестьян-каргопольцев была ломка белого камня и выработка из него «тесанин» или лещади, тесаных плит. Тесаный камень в XVI—XVII зв. поставляли в Москву, в Вологду и Устюг на царевы стройки, а позднее, в XVIII в., и на стройки Петербурга. Второй повинностью, которую в XVIII в. несли крестьяне Севера, была работа на корабельных верфях в Петербурге и Архангельске. Петр I в письме Апраксину указывал «не наряжать каргопольцев» нести повинности на стройках, но «употреблять к корабельной работе», для которой требовались плотники особо искусные, настоящие мастера своего дела.
Черносошные крестьяне не знали крепостного закабаления, тяжким гнетом лежавшего на крестьянах средней и южной России. Крепостные платили помещику оброки натурой, а с черносошных крестьян государство взимало подати деньгами.
Основное занятие крестьян Каргополья было земледелие. В селениях, отстоящих далеко от торговых дорог, на протяжении многих веков, вплоть до XX в., землю обрабатывали сохой-косулей да бороной из еловых сучьев. Переход на борону с зубьями в конце XIX в. был подлинным техническим прогрессом. Первыми восприняли новинку крестьяне придорожных сел. Урожаи все же оставались низкими.
Скота было мало, при недостатке удобрений и низкой урожайности, при необходимости платить денежную подать крестьяне были вынуждены развивать промыслы и ремесла и продавать продукты своего труда.