Актер родился в деревне Вартемяги под Ленинградом в многодетной семье Бахваловых. Он рано остался сиротой – мама умерла, не дождавшись, пока сыну исполнится год, а отец, и до того частенько злоупотреблявший спиртным, после смерти жены начал спиваться совсем и в конце концов ушел в мир иной.
В семье кроме Ивана было еще трое детей и всех, кроме старшего, забрала к себе бабушка по отцовской линии. В детстве Иван был активным и непоседливым, и, когда в битве за Сталинград погиб его старший брат, тут же вместе с приятелем решил сбежать на фронт, но их быстро поймали и вернули домой. Жизнь во время войны была голодной, и в деревне, где жил Иван во время ленинградской блокады, было очень тяжело и голодно, но не настолько, как в самом городе. К ним приезжала кинопередвижка, показывали кино солдатам располагавшегося в деревне полевого госпиталя, и Ваня с друзьями старались не пропускать ни одного сеанса Все это оставляло у него огромное впечатление, особенно, когда показывали «Чапаева». В