Иван Рыжов родился в простой многодетной семье. Он был девятым ребенком своих родителей и всегда хотел стать актером. Иван Петрович добился своей цели.
Многие не верили в его успех. В начинающем художнике не было утонченной красоты. Как выяснилось уже на первом экзамене, в нем было нечто большее, чем внешняя привлекательность. Он был рожден, чтобы играть. Известно, что студенческие годы будущей звезды были голодными и трудными. Из-за того, что у Ивана Петровича не было денег на одежду, он плохо одевался и заработал болезнь почек. Будущую знаменитость не взяли на фронт.
Иван Рыжов начал сниматься еще в 1940 году. Однако мало кто помнил его молодым на экране. Предложения лились рекой, когда художнику исполнилось 40 лет. Режиссеры поняли, как многого им не хватало все эти годы. Художник особенно хорошо вписался в фильмы легендарного Василия Шукшина. Тогда его прозвали "Всесоюзным дедушкой". У художника осталось около 150 работ в кино.
Всю свою жизнь Иван Петрович любил только одну женщину. Он познакомился со своей женой на "Союздетфильме". Она окончила театральное училище, но затем поступила в Институт иностранных языков. Нина Никольская не стала актрисой, она преподавала иностранный язык. Она была из совершенно другого круга, и Рыжов уже давно ухаживал за своей возлюбленной.
В их семье родилась дочь Татьяна.
Всю свою жизнь они жили душа в душу. В какой-то момент у жены знаменитости случился инсульт. Иван Рыжов уходил от своей любимой Нины. Однако она умерла четыре года спустя. Сам художник пережил ее всего на год.