Николай Рыжков родился в 1929 году в Донецкой области УССР. В 1950 году окончил Краматорский машиностроительный техникум, начал работать на заводе "Уралмаш" в Свердловске (ныне Екатеринбург). За девять лет прошел путь от мастера цеха до его начальника. Параллельно с работой получил образование в Уральском политехническом институте имени Кирова по специальности "инженер-механик".
В 1965-1970 годах – главный инженер завода, в 1970-1975 годах – директор "Уралмаша". С 1956 по 1991 годы являлся членом Коммунистической партии Советского Союза (КПСС). В 1975-1979 годах – первый заместитель министра тяжелого и транспортного машиностроения СССР. С 1979 по 1982 годы занимал должность первого заместителя председателя Госплана при Совете министров СССР. В 1982-м Рыжков перешел на партийную работу.
В 1982-1985 годах был секретарем центрального комитета (ЦК) КПСС, заведующим экономическим отделом ЦК КПСС. С 1985 по 1990 годы - член политбюро ЦК КПСС. С 27 сентября 1985 года по 26 декабря 1990 года – председатель Совета министров СССР. Участвовал в разработке концепции реформирования советской экономики. Выступал за постепенный переход к так называемому рыночному социализму, сохранение планового управления экономикой, развитие кооперации. Поддерживал политику Михаила Горбачева, возражал против выдвижения Бориса Ельцина первым секретарем Московского горкома КПСС.
В 1986 году Рыжков руководил штабом по ликвидации последствий аварии на Чернобыльской АЭС, а в 1988 - координировал работы после землетрясения в городе Спитак в Армении.
В 1992-1993 годах Николай Рыжков работал экспертом Военно-промышленной инвестиционной компании, впоследствии – председателем совета директоров Тверьуниверсалбанка. В 1995-1999 годах – депутат Госдумы РФ II созыва, член комитета по делам СНГ и связям с соотечественниками, затем – комитета по конверсии и наукоемким технологиям. В 1999-2003 годах – депутат Госдумы РФ III созыва. В 2003-2023 годах – член Совета Федерации от Белгородской области.
На протяжении работы сенатором входил в состав комитетов по вопросам местного самоуправления; по федеративному устройству, региональной политике, местному самоуправлению и делам Севера. В сентябре 2023 года полномочия Рыжкова как сенатора были прекращены досрочно.
Герой труда РФ (2019). Награжден двумя орденами Ленина, двумя орденами Трудового Красного Знамени, орденами Октябрьской Революции, Отечественной войны I степени, "За заслуги перед Отечеством" I и IV степеней, орденом Почета. Дважды Лауреат Государственной премии СССР в области техники. Почетный гражданин Белгородской области, городов Спитака и Гюмри (Армения), Краматорска и Дзержинска (ДНР).