Анастас Микоян начал свою политическую карьеру при жизни Владимира Ильича Ленина и ушёл в отставку лишь при Леониде Ильиче Брежневе. В конце 1970-х годов по этому поводу про Анастаса Микояна была сложена пословица: «От Ильича до Ильича без инфаркта и паралича».
Летом 1922 года Микоян был назначен секретарем Юго-Восточного бюро ЦК РКП (б), а затем и председателем Северокавказского краевого комитета партии. На последнем посту Микоян проводил более гибкую политику в отношении казачества.
Во время «великого перелома» поддержал Сталина. С его санкции были арестованы сотни работников системы Наркомпищепрома, Наркомвнешторга СССР. Микоян не только давал санкции на арест, но и сам выступал инициатором арестов. Представления делались Микояном и в отношении работников ряда организаций Внешторга СССР. Осенью 1937 года Микоян выезжал в Армению для проведения чистки партийных и государственных органов этой республики от «врагов народа».
Микоян возглавлял комиссию по обвинению в контрреволюционной деятельности видных членов партии. Он, в частности, вместе с Ежовым был докладчиком на февральско-мартовском Пленуме ЦК ВКП (б) по делу Бухарина (1937 год). Именно Микоян выступал от имени Политбюро ЦК ВКП (б) на торжественном активе НКВД, посвященном 20-летию органов ВЧК-ГПУ-НКВД.
5 марта 1940 года вместе со Сталиным, Молотовым и Ворошиловым поставил свою подпись под решением Политбюро ЦК ВКП (б) о расстреле пленных польских офицеров, полицейских, пограничников, жандармов и др.
6 ноября 1942 года на Красной площади с Лобного места по машине Микояна были произведены три выстрела из винтовки дезертировавшим красноармейцем Савелием Дмитриевым из Усть-Каменогорска, затем завязавшим целый бой с кремлёвской охраной. Только с помощью двух гранат его удалось обезвредить. Дмитриев принял машину Микояна за машину Иосифа Сталина. Дмитриев был расстрелян в 1950 году.
В течение всех военных лет Микоян усиленно занимался и развитием общественного питания. Было открыто большое количество столовых на промышленных предприятиях и учреждениях. Общественное питание стало для многих рабочих и служащих основной формой питания во время войны.
В острых вопросах Микоян всегда занимал уклончивую позицию: так, во время обсуждения судьбы Берии он согласился со всеми обвинениями, но в то же время выразил надежду, что Берия «учтёт критику». Аналогичная позиция была у него поначалу и относительно разоблачения Сталина: когда на заседании Президиума ЦК перед XX съездом в 1956 году Хрущёв предложил обсудить вопрос об осуждении действий Сталина, Микоян не высказался ни за, ни против, однако во время съезда выступил фактически с антисталинской речью. Вслед за этим Микоян возглавил комиссию по реабилитации заключённых.
На пленуме ЦК 1957 года твёрдо поддержал Хрущёва против антипартийной группы, чем обеспечил себе новый взлёт партийной карьеры.
После 1957 года Микоян стал одним из главных доверенных лиц Хрущева: он совершает поездку по странам Азии, а в 1959 году для подготовки визита Хрущева посетил США, а также вел переговоры с Фиделем Кастро об установлении советско-кубинских отношений; в 1962 году активно участвовал в урегулировании «Карибского кризиса».
15 июля 1964 года Анастас Микоян был избран на пост Председателя Президиума Верховного Совета СССР. Во время Октябрьского (1964 г.) пленума ЦК КПСС пытался осторожно защищать Хрущева, подчеркивая его внешнеполитические заслуги. В результате в декабре 1965 года Микоян был отправлен в отставку как достигший 70-летнего возраста.
