Несмотря на очевидную правоту Федора Алексеевича, занявшего трон не только по старшинству и "первородству" по мужской линии , но и получившему благословение на царство от самого покойного государя, сторонники царя Федора все-таки опасались Нарышкиных и решили полностью лишить какого-либо влияния вдовствующую царицу Наталью Кирилловну, её родственников и приближенных.
Первый удар нанесли они по Матвееву, отобрав у него Аптекарский приказ, а вслед за тем, обвинив его в неуплате денег голландцу Люнсу Гею, отняли и Посольский приказ. После этого Артамона Сергеевича отправили воеводой в Верхотурье, но все , конечно, понимали,что это-ссылка в далекую крепостцу, стоявшую на границе с Сибирью.
Местом, где надлежало жить Матвееву, был определен Пустозерск , в котором уже много лет сидел в подземном срубе протопоп Аввакум.
Взяв с собою десятилетнего сына Андрея, Матвеев уехал в Верхотурье.
Следом за ним в ссылку были отправлены братья Натальи Кирилловны- Иван и Афанасий , обвиненные в подстрекательстве к убийству царя