С июня 1780 обстановка в Индии меняется. Англичанам удается восстановить торговый путь в Европу, и актуальность в Персидском походе отпадает. Переписка Суворова с Потемкиным прерывается. Каспийская флотилия успешно отремонтирована в самые короткие сроки, и Александр Васильевич на долгое время остается в Астрахани забыт и заброшен, без каких бы то ни было обязанностей и поручений. Безделье очень тяготит Суворова.
Через год, в июне 1781, в жизни генерал поручика происходит некоторое оживление. Из Херсона от Потемкина прибывает новый командующий Каспийской флотилии капитан 2-го ранга граф Марко Иванович Войнович. Вновь прибывший граф не считает нужным подчиняться Александру Васильевичу, а получает указания напрямую от фаворита императрицы Екатерины II.
10 июля 1781 года капитан 2-го ранга Войнович, не поставив в известность Суворова, снимается с якоря и уводит Каспийскую флотилию, состоящую из трех 20-и пушечных фрегатов, одного бомбардирского судна и двух ботов в Астрабадский (Горганский) залив на юго-востоке Каспийского моря. Здесь, по приказу Потемкина, он должен возвести крепость для защиты русской торговли с Персией.
Русская укрепленная фактория на юге Каспийского моря была возведена, но через некоторое время граф Войнович с офицерами и 50 солдатами попадают в плен, в результате недальновидности графа и персидского вероломства. В январе 1782 года Марко Иванович Войнович освобождается, но русскую крепость приходится срыть. В июле 1782 Каспийская флотилия возвращается обратно в Астрахань.
Неподготовленная, носившая характер авантюры, попытка Войновича закрепиться на южном берегу Каспийского моря окончательно губит в глазах Потемкина идею Персидского похода. Положение Суворова становится воистину невыносимым. В подчинении у Александра Васильевича нет ни флота, ни сухопутных сил, потому что Казанская дивизия в Астрахань так и не прибыла. Суворов считает себя сосланным и лишенным любимого дела.
11 января 1782 года генерал-поручик Суворов получает предписание отправиться в Казань, чтобы командовать Казанской дивизией. Здесь Александр Васильевич проводит всего несколько месяцев, а затем, в августе приходит приказ об отправлении обоих полков Казанской дивизии в Моздок, сам же Суворов должен выехать в урочище Кизикирмю близ реки Днепр, чтобы возглавить Крымский корпус от генерал-майора де Бальмена.
Александр Васильевич снова нужен Потемкину в Крыму и на Кубани, там, где блестяще зарекомендовал себя ранее.