Артистизм Леонида Ярмольника начал проявляться еще в школьные годы. Он был модным парнем, одноклассники называли его «Ленноном» за любовь к группе «Битлз». В старших классах Леонид Исаакович носил длинные волосы и круглые очки.
Вот только поступить в театральный вуз с первого раза у Ярмольника не получилось - он не сдал экзамены в Ленинградский институт театра, музыки и кино.
Через год будущий актер отправился в Москву и поступил в Щукинское училище на курс Юрия Катина-Ярцева, с которым через много лет он встретится на съемках фильма «Тот самый Мюнхгаузен».
В 1979 году Леонид Ярмольник по распределению попадает в Театр на Таганке к Юрию Любимову. Выступает на сцене четыре года, а потом увольняется после прихода к руководству театром Анатолия Эфроса в период эмиграции Любимова. Леонид Исаакович стал первым актером, уволившимся из знаменитого театра после смены власти, так как Эфрос прилюдно заявил, что Ярмольник ему не интересен.
Во время прохождения проб на роль Феофила в фильм «Тот самый Мюнхгаузен» Ярмольник соперничал со своим однокурсником Юрием Васильевым, который в те годы работал в Театре Сатиры.
За кандидатуру Ярмольника высказался его друг со студенческих времен Александр Абдулов. На съемках Леонид Исаакович подружился с Олегом Янковским. Абдулов и Янковский уговаривали Марка Захарова взять Ярмольника в себе в театр, но режиссер отказался, сказав, что комедийных актеров в его труппе хватает.
Зато после ярких ролей в кино актера заметили на телевидении и стали приглашать в юмористические передачи. Например, «Вокруг смеха», где он выступил в знаменитом образе «цыпленка табака». В 90-е году Ярмольник вел несколько телепрограмм на телеканале ОРТ, а потом перешел на «вторую кнопку».
Своей главной ролью в кино сам Леонид Ярмольник однажды назвал дона Румату в экранизации произведения братьев Стругацких «Трудно быть Богом», которую на протяжении 13 лет снимал режиссер Алексей Герман-старший.
Эта роль потребовала огромных усилий со стороны актера, он ругался с режиссером по поводу творческих решений. В итоге фильм вошел в историю мирового кинематографа.
Много времени Леонид Ярмольник посвящает продюсированию и общественной деятельности, но и о новых ролях в кино не забывает. За прошедшие пять лет он сыграл Григория Иосифовича в фильме Валерия Тодоровского «Одесса», барона Фиттингофа в киноленте «Что знает Тихая Герда», Дорфмана в картине «За нас с вами» и профессора Стравинского в экранизации Булгакова под названием «Воланд».