Ростислав и Николай Янковские, старшие братья Олега Ивановича Янковского, в юности решили стать актерами. Ростислав ходил в кружок художественной самодеятельности, а Николай несколько лет занимался в театральном кружке.
Олег Иванович в театральный институт зашел случайно и узнал, что туда тайно от семьи поступил его средний брат. Он тоже решил попробовать свои силы, но прием документов к тому моменту уже был закончен, и брат отдал Олегу свое место.
После получения диплома Олег Янковский служил в Саратовском театре. О кино он не задумывался. Однажды труппа театра была на гастролях во Львове, где Олег Иванович зашел пообедать в ресторан.
Там за столом сидел с супругой актер и режиссер Владимир Басов. Он в тот момент подбирал актера на роль Шварцкопфа в картину «Щит и меч». Супруга Басова обратила внимание на молодого Янковского и сказала, что этот человек, скорее всего, актер, и он идеально подходит под образ Генриха.
Режиссер отправил к Янковскому ассистент, который выяснил, что Олег Иванович действительно актер. На пробах он сильно переживал, но его утвердили на роль. В том же году Олег Янковский сыграл бойца Красной Армии Андрея Некрасова в картине «Служили два товарища», после чего обрел популярность, но какое-то время еще служил в Саратовском театре.
В молодые годы актер несколько раз снялся со своим коллегой Евгением Леоновым, который из уважения к Янковскому уговорил театрального режиссера Марка Захарова съездить в Саратов и посмотреть постановку с Олегом Ивановичем. После этого Янковский стал актером «Ленкома», а потом снялся в фильме Захарова «Обыкновенное чудо».
Много лет Олег Янковский работал вместе с классиком советского кино Андреем Тарковским. Перед съемками киноленты «Ностальгия» Тарковский уехал с актером в Рим, и оставил его там на месяц одного, чтобы тот пережил психологический шок и подготовился к роли.
У Янковского не было денег, итальянского языка он не знал, Когда режиссер приехал за ним, Олег Иванович ощущал себя брошенным и забытым. Это то, что требовалось Тарковскому для съемок.
Тарковский признавался, что трагедия актерской профессии в том, что однажды лучшие роли и любовь зрителей остаются позади. Олег Иванович Янковский прожил 65 лет. До последних дней он выходил на театральную сцену.