Анастас Микоян начал свою политическую карьеру при жизни Владимира Ильича Ленина и ушёл в отставку лишь при Леониде Ильиче Брежневе. В конце 1970-х годов по этому поводу про Анастаса Микояна была сложена пословица: «От Ильича до Ильича без инфаркта и паралича».
Входя в группу так называемых «кавказцев» (бывших членов закавказской организации), Анастас Микоян поддерживал курс Сталина во внутрипартийной борьбе.
По рекомендации Иосифа Сталина Микоян с лета 1922 года был назначен секретарем Юго-Восточного бюро ЦК РКП (б), а затем и председателем Северокавказского краевого комитета партии.
В фольклоре «единицу политической долговечности» называли «один микоян».
С его санкции были арестованы сотни работников системы Наркомпищепрома, Наркомвнешторга СССР. Микоян не только давал санкции на арест, но и сам выступал инициатором арестов. Представления делались Микояном и в отношении работников ряда организаций Внешторга СССР.
Микоян возглавлял комиссию по обвинению в контрреволюционной деятельности видных членов партии. Он, в частности, вместе с Ежовым был докладчиком на февральско-мартовском Пленуме ЦК ВКП (б) по делу Бухарина (1937 год). Именно Микоян выступал от имени Политбюро ЦК ВКП (б) на торжественном активе НКВД, посвященном 20-летию органов ВЧК-ГПУ-НКВД.
5 марта 1940 года вместе с И. В. Сталиным, В. М. Молотовым и К. Е. Ворошиловым поставил свою подпись под решением Политбюро ЦК ВКП (б) о расстреле пленных польских офицеров, полицейских, пограничников, жандармов и др.
В 14:55 6 ноября 1942 года на Красной площади с Лобного места по остановившейся перед перегородившим дорогу извозчиком машине Анастаса Микояна были произведены три выстрела из винтовки дезертировавшим красноармейцем Савелием Дмитриевым из Усть-Каменогорска, затем завязавшим целый бой с кремлёвской охраной. Только с помощью двух гранат его удалось обезвредить. Дмитриев принял машину Микояна за машину Иосифа Сталина. Дмитриев был расстрелян в 1950 году.
В течение всех военных лет Микоян усиленно занимался и развитием общественного питания. Было открыто большое количество столовых на промышленных предприятиях и учреждениях. Общественное питание стало для многих рабочих и служащих основной формой питания во время войны. Микоян содействовал развитию советской рекламы.
В острых вопросах Микоян всегда занимал уклончивую позицию: так, во время обсуждения судьбы Берии он согласился со всеми обвинениями, но в то же время выразил надежду, что Берия «учтёт критику». Аналогичная позиция была у него поначалу и относительно разоблачения Иосифа Сталина. Но затем Микоян возглавил комиссию по реабилитации заключённых.
На пленуме ЦК 1957 года твёрдо поддержал Хрущёва против антипартийной группы, чем обеспечил себе новый взлёт партийной карьеры.
После 1957 года Микоян стал одним из главных доверенных лиц Хрущева: он совершает поездку по странам Азии, а в 1959 году для подготовки визита Хрущева посетил США, а также вел переговоры с Фиделем Кастро об установлении советско-кубинских отношений.
15 июля 1964 года Анастас Микоян был избран на пост Председателя Президиума Верховного Совета СССР. Во время Октябрьского (1964 г.) пленума ЦК КПСС пытался осторожно защищать Хрущева, подчеркивая его внешнеполитические заслуги. В результате в декабре 1965 года Микоян был отправлен в отставку как достигший 70-летнего возраста.