Родился будущий актер в 1900 году в Полтавской губернии. Николай вырос в многодетной семье, их род шел от донских казаков.
Актерского образования Николай не получил, он и без него мог отлично играть на сцене. Начинал свою актерскую деятельность Яковченко на любительской сцене.
Актер выступал на театральных сценах многих городов: Симферополя, Чернигова, Харькова и Днепропетровска.
Актер любил вспоминать как он приехал в Киев с одной сумкой, в которой был хлеб, буряк и кусок сала. Но несмотря на это, ему удалось стать актером Киевского театра имени И.Франка.
Талантливому актеру сразу же дали квартиру возле театра, где в то время проживали многие знаменитые актеры. Работал на этой сцене до самой смерти, но с перерывами.
Николай Яковченко в первую очередь имел талант комика, стал героем многих украинских анекдотов. Режиссер Параджанов называл его "украинских Чарли Чаплиным".
С 1940 года работал в составе актерской труппы в Киевском государственном театре музыкальной комедии.
Во время войны в составе четвертой фронтовой бригады Дмитрия Милютенко актер стал свидетелем освобождения Будапешта.
Дебютировал Яковченко в кино в 1939 году в картине "Щорс".
В 1955 году исполнил заметную роль отца главного героя в картине "Максим Перепелица".
Но особую признательность среди зрителей получил за исполнение роли Прокопа Сирко (отца Тони Прокоповны) в комедийном фильме "За двумя зайцами" в 1961 году.
Также актер блистал в таких советских кинокартинах: Пацюк в фильме "Вечера на хуторе близ Диканьки", Спирид в картине "Вий", Лопата в киноленте "Королева бензоколонки".
С 1968 года актер занимался озвучивание телепередачи "От субботы до субботы".
Вместе с Яковченко в театре работала и его жена Татьяна Евсеенко. Она родила двух дочерей. Но из-за болезни Евсеенко очень рано умерла, актер не мог смириться с уходом жены и начал сильно выпивать.
Младшую дочь на воспитание забрала директор школы, хотела ее удочерить.
Но девочка постоянно убегала к отцу, который очень много выпивал и жил впроголодь.
Но Яковченко постепенно вернулся к работе в театре, младшая дочь так же стала работать актрисой в театре. Но как и мама, и старшая дочь, младшая дочка тоже ушла из жизни из-за смертельной болезни.
Актер много выпивал и курил. Последней работой в кино была картина "Дед левого крайнего" в 1973 году.
А в 1974 году Яковченко ушел из жизни из-за обострения аппендицита, актеру не успели сделать операцию.