Несмотря на открытую оппозицию советскому режиму, Сахарову не было предъявлено официальных обвинений вплоть до 1980 года, когда он резко осудил советское вторжение в Афганистан. 4 января 1980 года он дал интервью корреспонденту «Нью-Йорк таймс» о положении в Афганистане и его исправлении, а 14 января — телеинтервью компании Эй-Би-Си. Тогда же он указом Президиума Верховного Совета СССР был лишён звания трижды Героя Социалистического Труда и постановлением Совета Министров СССР — звания лауреата Сталинской (1953) и Ленинской (1956) премий (также ордена Ленина, звания члена АН СССР лишён не был). В Горьком Сахаров провёл три длительных голодовки. В 1981 году он, вместе с Еленой Боннэр, выдерживает первую, семнадцатидневную, — за право выезда к мужу за рубеж Лизы Алексеевой (невестки Сахаровых).
В июне 1983 года Андрей Сахаров опубликовал в американском журнале «Форин афферс» письмо известному физику С. Дреллу об опасности термоядерной войны. Реакцией на письмо стала статья четырех академиков в газете «Известия», изобразившая Сахарова напротив, сторонником термоядерной войны и гонки вооружений и вызвавшая очередную шумную газетную кампанию против него и его жены. В июле 1983 года четыре академика (Прохоров, Скрябин, Тихонов, Дородницын) опубликовали в газете «Правда» письмо «Когда теряют честь и совесть» с критикой Сахарова в связи с публикацией на Западе его статьи.
В Большой советской энциклопедии (вышедшей в 1975 году) и затем в выходивших до 1986 года энциклопедических справочниках статья о Сахарове завершалась фразой «В последние годы отошёл от научной деятельности». По некоторым данным, формулировка принадлежала М. А. Суслову.
Летом 1984 года Сахаров провел безрезультатную голодовку за право жены на поездку в США для встречи с родными и лечения (прекращенную 6 августа). Голодовка сопровождалась насильственной госпитализацией и мучительным кормлением. Мотивы и подробности этой голодовки Сахаров сообщил осенью в письме А. П. Александрову, в котором просил оказать содействие в получении разрешения на поездку жены, а также заявлял о выходе из Академии наук в случае отказа.
Апрель — сентябрь 1985 года — последняя голодовка Сахарова с прежними целями; вновь помещение в больницу и насильственное кормление. Разрешение на выезд Боннэр было выдано только в июле 1985 году после письма Сахарова к Михаилу Сергеевичу Горбачеву с обещанием сосредоточиться на научной работе и прекратить общественные выступления, если поездка жены будет разрешена. В новом письме Горбачеву 22 октября 1986 года Сахаров просит прекратить его депортацию и ссылку жены, снова обещая закончить свою общественную деятельность.
В течение всего времени горьковской ссылки А. Сахарова во многих странах мира шла кампания в его защиту. Например, площадь в пяти минутах ходьбы от Белого Дома, где находилось советское посольство в Вашингтоне, была переименована в «Площадь Сахарова». В различных мировых столицах регулярно, начиная с 1975 года, проводились «Сахаровские слушания».
16 декабря 1986 года М. С. Горбачев объявил Сахарову по телефону об окончании ссылки: «возвращайтесь и приступайте к своей патриотической деятельности». Через неделю Сахаров вместе с Боннэр вернулся в Москву.
Аркадий Вольский свидетельствовал, что будучи генсеком, вернуть Сахарова хотел ещё Андропов, в изложении Вольского:
Юрий Владимирович готов был выпустить Сахарова из Горького при условии, что тот напишет заявление и сам об этом попросит… Но Сахаров [отказался] наотрез: „Напрасно Андропов надеется, что я буду его о чем-то просить. Никаких покаяний“
Позже, когда Горбачёв стал генеральным секретарем ЦК, он лично набрал номер Сахарова…». Академик Исаак Халатников в своих воспоминаниях писал, что Анатолию Петровичу Александрову, который хлопотал о Сахарове, высланном в Горький, Андропов сказал, что эта ссылка была самым «мягким» наказанием, когда другие члены Политбюро требовали значительно более суровых мер. 23 декабря 1986 года вместе с Еленой Боннэр Сахаров возвращается в Москву. После возвращения он продолжил работать в Физическом институте им. Лебедева в должности главного научного сотрудника.
В феврале 1987 года Андрей Дмитриевич выступил на международном форуме «За безъядерный мир, за выживание человечества» с предложением рассматривать сокращение числа евроракет отдельно от проблем СОИ, о сокращении армии, о безопасности атомных электростанций. В 1988 году он избран почетным председателем общества «Мемориал», а в марте 1989 года — народным депутатом Верховного совета СССР. Состоялись его встречи с президентами США Р. Рейганом и Дж. Бушем, Франции — Ф. Миттераном, премьер-министром Великобритании М. Тэтчер.
В 1989 году был избран народным депутатом СССР от Академии наук СССР[42], в мае-июне того же года участвовал в I Съезде народных депутатов СССР в Кремлёвском дворце съездов.
2 июня, по характеристике Леонида Баткина, в зале разыгралась «страшная и потрясающая сцена». Семь депутатов с трибуны назвали интервью Сахарова канадской газете «Оттава ситизен» о судьбе советских военнослужащих в Афганистане, в котором Сахаров заявил, что «во время войны в Афганистане с советских вертолётов расстреливали советских солдат, попавших в окружение, чтобы те не могли сдаться в плен» (уточнив, что ему об этом известно из передач зарубежного радио), — «провокационной выходкой», целью которой было «унижение чести, достоинства и памяти сыновей своей Родины». После чего, вспоминал Юрий Власов, «за ничтожным исключением зал встал, кричал и аплодировал тем, кто с трибуны обвинил Сахарова в клевете… было нелегко даже просто остаться сидеть». Со съезда велась прямая трансляция по телевидению, и в тот же день Сахаров получил сотни посланий. Как он сам писал в дневнике, «каждое утро почта приносит гору писем. Из СССР большей частью ругательные…». Многочисленные выступления Сахарова на съезде с нарушениями регламента (8 раз за 13 дней, при том, что на съезде присутствовали более 2 тысяч депутатов, и далеко не у всех желающих была возможность выступить), не раз сопровождались выкриками из зала, свистом со стороны большинства депутатов, которых один из лидеров МДГ историк Юрий Афанасьев, а вслед за ним СМИ характеризовали как «агрессивно-послушное большинство». Перед самым закрытием съезда Сахаров в очередной раз потребовал слова. Председательствующий Михаил Горбачёв сказал, что не может решить этот вопрос самостоятельно, и спросил мнение съезда. Зал прокричал "НЕТ!!!", после чего Горбачёв решил всё же предоставить 5 минут. Когда Сахаров уже поднялся на трибуну, решили проголосовать, «на глазок» прикинув, что большинство поднявших руки не возражает. В итоге Сахаров выступал 15 минут, предложив принять напоследок наспех «декрет о власти», полностью изменяющий конституционное устройство. Выступление неоднократно прерывалось звонком, предупреждающим об истечении положенного времени. После истечения двух регламентов микрофон был отключён, однако Сахаров продолжал говорить. Позже фрагменты этого выступления многократно транслировались по телевидению.
Много размышляя о реформе политической структуры СССР, Сахаров в ноябре 1989 года представил проект новой конституции, в основе которой — защита прав личности и права всех народов на государственность.
14 декабря 1989 года, в 15:00 — состоялось последнее выступление Сахарова в Кремле на собрании Межрегиональной депутатской группы (II Съезд народных депутатов СССР).
Андрей Дмитриевич Сахаров скончался вечером 14 декабря 1989 года, на 69-м году жизни, от внезапной остановки сердца в своей квартире на улице Чкалова. Проститься с великим человеком пришли сотни тысяч людей. Похоронен на Востряковском кладбище Москвы.