Николай Дроздов был женат дважды. В первый раз он женился в 1956 году, будучи студентом. Его первой супругой стала девушка по имени Инна, но их брак продлился недолго. У пары родилась дочь Надежда, но вскоре они расстались. Дроздов объяснял разрыв тем, что, возможно, его увлечение путешествиями не устраивало жену. Расставание прошло мирно, и Надежда жила поровну с обоими родителями.
Надежда, как внешне, так и по характеру, напоминает отца. Она окончила географический факультет МГУ, работала в Академии наук и занималась туризмом. В 90-х вела передачу «Очень дальнее Подмосковье» на телеканале «Московия». Некоторое время она жила в Таиланде, но вернулась в Москву. Надежда никогда не создавала семью, а в 2018 году она получила серьезную травму, сломав позвоночник. Дроздов помогал дочери восстановиться.
После развода Дроздов долго оставался один — целых 20 лет. Он не спешил вновь жениться, пока судьба не свела его с соседкой Татьяной Петровной. Они познакомились в лифте, и в 1978 году пара официально оформила отношения. В этом браке родилась их дочь Елена, которая, как и отец, полюбила животных и стала ветеринаром. Позже она вышла замуж за повара, и в 2004 году у них родился сын Филарет, названный в честь прадеда. Филарет окончил Московское кадетское училище по настоянию Дроздова.
В 2009 году Елена вместе с семьей переехала в Австралию, где решила получить образование дизайнера. Через год у нее родился еще один сын, Ян. Однако спустя несколько лет Елена развелась с мужем и вернулась в Москву. В поисках себя она пробовала разные направления — от психологии до йоги и искусства.
Дроздов всегда рад быть рядом со своими внуками. В интервью 2018 года он говорил, что старший внук Филарет — трудолюбивый и увлечен программированием, а младший Ян — творческая личность, любящий радовать семью приготовленными завтраками.