Фильм «Щит и меч» вышел на широкий экран в 1968 году и мгновенно стал фаворитом сезона — четыре его серии заняли 1–5 места в прокате, собрав на просмотрах 68 млн. зрителей. После его премьеры О. Янковский проснулся знаменитым.
Любопытно отметить, что старший брат Олега, который, собственно, и открыл ему путь на сцену, долгое время не верил, что из него получится хороший актер. Но после того, как на экраны страны вышел «Щит и меч», он признал свою ошибку.
В 1967 году Янковскому вновь поступило предложение из Москвы — режиссер Евгений Карелов приглашал его на главную роль в картине «Служили два товарища». Стоит отметить, что первоначально Олегу предстояло сыграть в картине поручика Брусенцова, однако затем режиссер изменил свое решение и Янковскому досталась роль красноармейца Некрасова (Брусенцова сыграл В. Высоцкий). Позднее сам актер так вспоминал о своей работе в этом фильме: «Я играл там роль красноармейца Некрасова — личность замечательную. На ней лежал отпечаток трагического конца. Мне кажется, в этой картине я научился молчать. Мне работалось хорошо с Кареловым — мы понимали друг друга…»
На рубеже 70-х годов творческая судьба О. Янковского складывалась весьма благоприятно. К тому времени в театре он сумел выбиться в лидеры и сыграл ряд прекрасных ролей: Дмитрия Николаевича в «Баловне судьбы» (196?), Светлова в «Тогда в Тегеране» (1970), Мышкина в «Идиоте» (1971), Мелузова в «Талантах и поклонниках» (1973). В кино на его счету были роли в фильмах: «Я — Франциск Скорина» (1970), «О любви» (1971), «Гонщики» (1972) и др.
В «Гонщиках» судьба свела Янковского с замечательным актером Е. Леоновым, который вскоре станет для него своего рода «крестным отцом». Дело в том, что Леонов в 1974 году ушел из Театра имени Маяковского и оказался в труппе Ленкома, которую тогда только что возглавил Марк Захаров. Новому режиссеру требовались молодые таланты, и, зная это, Леонов посоветовал ему обратить внимание на актера из Саратова Олега Янковского. Захаров так и поступил. Однажды, когда Янковский оказался проездом в Москве, он позвонил ему и назначил встречу в одном из мест столицы. Янковский, как человек пунктуальный, к назначенному часу пришел, а вот Захаров нет. Как оказалось, из-за неотложных дел он не смог вырваться на встречу, а когда освободился было уже поздно. Но Янковский не обиделся. В тот же день он позвонил Захарову домой, и они назначили новую встречу на следующий день.
На этот раз Захаров его не подвел, пришел вовремя и с ходу предложил Янковскому перейти к нему в театр. Предложение было заманчивым, но Янковский, стоит отдать ему честь, от прямого ответа уклонился, предложив сначала посмотреть его в деле — то есть, на сцене. «У нас скоро начинаются гастроли в Ленинграде, — сообщил он Захарову. — И я приглашаю вас на один из моих спектаклей — «Идиот». Захаров пообещал прийти.
Просмотр оставил у режиссера двоякое впечатление. По его мнению, спектакль был неровным, однако игрой Янковского oностался доволен. Узнав об этом, актер наконец дал свое согласив перейти в Ленком.
Стоит отметить, что переезд Янковского из провинции в столицу не был столь гладким, как это может показаться на первый взгляд. Первое время из-за бытовых проблем молодой семье (а в Москву Янковский привез и жену с сыном) было довольно трудно. Они жили в 5-метровой комнатке театрального общежитии, получали не самую высокую зарплату.
Дебютом Янковского в Ленкоме стала роль секретаря партийной организации на автозаводе в спектакле «Автоград XX I». Как напишут затем критики, «эта роль не стала победой молодого актера». Однако уже в следующей своей роли — Гансйорга в спектакле «Ясновидящий» по роману Л. Фейхтвангера «Братья Лаутензак» Янковский сумел реабилитироваться и заслужить высокие похвалы.
Между тем кинематографическая судьба Янковского складывалась намного успешнее, чем сценическая. В 1974 году он попадает в поле зрения кинорежиссера, работать с которым мечтал любой актер Советского Союза. Речь идет об Андрее Таркок» ском. В автобиографическом фильме «Зеркало» он предложил О. Янковскому исполнить роль своего отца — Арсения Тарковского, а на роль себя самого (речь идет о детских годах Андрея) он утвердил его сына Филиппа (ему тогда было 4,5 года). По словам О. Янковского: «Я взял в фильм сына, хотя нормальный человек, знающий кинематограф, в общем-то, не имеет права это делать. Я довольно жестоко поступил, застудил его там. Но, надеюсь, Бог меня простит».