Деятельность Андрея Громыко на посту главы МИД Советского Союза началась в 1957 году. Он занимал эту должность почти три десятилетия, когда в мире шла «холодная война». Перед его назначением Хрущев вызвал к себе бывшего главу МИДа Шепилова, чтобы тот назвал своего преемника. Дмитрий Трофимович предложил кандидатуру Громыко и сказал, что у Андрея Андреевича есть хватка бульдога. Действительно новый руководитель Министерства иностранных дел мастерски изводил иностранных коллег, никогда им не уступал и умел добиваться решений в пользу своего государства. На войне погибли два брата Громыко, поэтому переговоры с ФРГ для него всегда были непростыми. В середине 80-х Михаил Горбачев получил от Андрея Андреевича личную рекомендацию и благодаря поддержке Громыко стал генеральным секретарем КПСС. Впоследствии опытный дипломат сожалел о своем решении.
Юрий Андропов активно продвигал молодые кадры. Через время «старики» были представлены в Политбюро ЦК КПСС только главой Минобороны Дмитрием Устиновым, председателем Совета министров СССР Николаем Тихоновым и руководителем МИДа Андреем Громыко. В 1985 году на Политбюро выбирали нового генсека и главный дипломат страны имел шансы занять этот пост, но он понимал, что у него отсутствует внутриэкономический опыт, а времена в государстве наступили тяжелые.
Некоторые члены Политбюро впоследствии вспоминали слова Громыко, сказанные им на мартовском пленуме: «Нам не надоело хоронить друг друга?». «Серийные смерти» генсеков следовало прекратить. По мнению Андрея Андреевича, лучшей кандидатурой на главный пост в стране был 54-летний Горбачев. Из уст руководителя МИДа прозвучала сухая, но положительная характеристика Михаила Сергеевича.
Поскольку авторитет Громыко был высоким, то члены Политбюро выразили поддержку кандидатуре Горбачева. Через несколько лет Андрей Андреевич пожалеет, что подтолкнул своих товарищей по партии к такому опрометчивому решению. Ему совсем не нравилось то, что происходило при новом генсеке в государстве. Поначалу раздражение Громыко было молчаливым, но потом из его уст прозвучала осторожная критика Михаила Сергеевича. Андрей Андреевич считал, что из-за неразумных действий нового генерального секретаря авторитет КПСС падает.
Горбачев был недоволен позицией руководителя дипломатического ведомства. Отношения между Михаилом Сергеевичем и Андреем Андреевичем накалились, когда глава МИД собрался побывать в Северной Корее, но по приказу Горбачева эта поездка была отменена. Громыко почувствовал, что стал не нужен новому генсеку, который критиковал его за «догматический и консервативный подход к внешнеполитической деятельности». Особенно Горбачеву не нравилось, что Андрей Андреевич не может наладить нормальные отношения с США. Позже вышли мемуары помощника генсека по международным делам Анатолия Черняева, в которых он писал, что Громыко – это «старый маразматик».
В 1985 году Андрей Андреевич покинул МИД и возглавил Президиум Верховного Совета СССР. Он сделал это не под принуждением. Громыко считал, что новым руководителем МИДа должен стать кадровый дипломат с большим опытом работы, которых тогда было довольно много. Но по решению Горбачева МИД возглавил Эдуард Шеварднадзе, который ранее никогда не занимался международными вопросами. Громыко был сильно удивлен, но ничего не сказал по этому поводу. Негативные последствия такого необдуманного назначения не заставили себя долго ждать.
Разочарованию Андрея Андреевича не было предела. Его дипломатическое наследие кануло в лету. С ним перестали советоваться. Громыко мог похвастаться богатейшим опытом в международных делах и обширными связями по всему миру, которые не были востребованы. Шеварднадзе бездарно руководил Министерством иностранных дел и Андрею Андреевичу было больно наблюдать за развалом выстраиваемой им десятилетиями советской дипломатической школы. Новый руководитель МИДа принимал скоропалительные и непродуманные решения, вредящие стране.
В 1988 году Громыко заявил о своей отставке с поста руководителя Президиума Верховного Совета СССР, так как понимал собственную беспомощность и бесполезность. Беседуя с родственниками и друзьями, Андрей Андреевич говорил, что «перестройка» ведет к краху государства. Он сожалел, что помог Горбачеву занять пост генсека, и называл Михаила Сергеевича «изменником», говорил, что у этого человека «ледяное сердце».
Из-за сильных переживаний у Громыко ухудшилось здоровье. Андрея Андреевича не стало 2 июля 1989 года. Ни Горбачева, ни Шеварднадзе на прощании и похоронах Громыко не было. В 2014 году в выступлении главы МИДа Сергея Лаврова прозвучали слова об этом выдающемся государственном деятеле, как о «великом дипломате советской эпохи».