26 марта 1962 года состоялась премьера мелодрамы «Когда деревья были большими». Однажды на киностудию имени Горького по почте пришёл сценарий под названием «Благоразумная ведьма». Отправителем был минский режиссёр и кинодраматург Николай Фигуровский. История о потерявшемся в жизни человеке, от отчаяния выдающим себя за отца уже взрослой девушки, понравилась руководителю студии Сергею Герасимову. Автора сценария вызвали в Москву, чтобы обсудить необходимые правки и решить, кто возьмётся за экранизацию.
На общем собрании режиссёр Лев Кулиджанов выступил с яростной критикой текста. После этого обиженный драматург забрал сценарий, не желая изменить в нём ни слова. Но буквально через месяц на имя Кулиджанова пришёл пакет, в котором оказалось почти полностью переписанное произведение. Исправленная версия режиссёру понравилась и он вызвался возглавить съёмки.
Первым кандидатом на роль Кузьмы Иорданова был Василий Меркурьев. По состоянию здоровья актёр не мог надолго уезжать из дома и попросил снимать деревенские эпизоды неподалёку от его дачи под Ленинградом, однако это было невозможно. Пробы проходил и Борис Андреев, но могучая фигура актёра оказалась совершенно не совместима с образом Иорданова. Юрия Никулина режиссёр прежде никогда не видел в кино. Однажды он попал в цирк на представление с участием знаменитого клоуна и сразу разглядел в нём драматический потенциал. Сам актёр поначалу сомневался, что сможет перевоплотиться в человека со сложной судьбой, однако уже после первых дублей стало понятно, что произошло стопроцентное попадание в образ.
На роль Наташи был утверждена начинающая актриса Инна Гулая. На пробах она вместе с Юрием Никулиным играла сцену разговора за столом, где девушке предстояло есть борщ. Было отснято пять дублей и в каждом из них Гулая съедала по полной тарелке супа. В конце съёмок удивлённый Никулин спросил у своей хрупкой партнёрши, как ей удалось так много съесть, на что та коротко ответила: «Волнуюсь!». Молодая актриса оказалась очень принципиальной и часто отстаивала своё видение роли в яростных спорах с режиссёром — тот нередко признавал правоту восходящей звезды и позволял ей играть так, как хочет она сама. В картине дебютировала Людмила Чурсина, сыграв первую деревенскую красавицу Зою.
Костюмеры тщательно работали над внешним обликом Иорданова. С нарядом определились быстро — потрёпанные рубашки, мятые брюки, пиджак с чужого плеча. Но для завершения образа чего-то не хватало. Поиски продолжались, пока Никулин не обнаружил в углу костюмерной кепку со сломанным козырьком. Когда актёр нацепил её на голову, всем стало понятно, что эта деталь была просто необходима.
Режиссёр посоветовал Никулину наблюдать на улицах за теми, кто похож на его героя. Актёр гулял около пивных и примеривал на себя роль завсегдатаев подобных заведений. Первый съёмочный день проходил в мебельном магазине. Никулина загримировали, переодели и привезли на съёмочную площадку. В дверях магазина стояли директор, режиссёр Лев Кулиджанов и оператор Валерий Гинзбург. Когда Никулин направился к ним, директор магазина преградил ему путь и попросил убираться отсюда и не мешать съёмкам, добавив, что он тут его уже не первый день видит. Никулин пытался доказать, что он актёр, но режиссёр с оператором в один голос заявили, что этого странного человека видят первый раз. И только когда на скандал начал собираться народ, Кулиджанов с Гинзбургом признались, что это исполнитель главной роли.
В картину не вошли некоторые сцены из жизни Иорданова. В одном из эпизодов Кузьму укусил шмель, когда тот собирал ландыши в лесу. С распухшим от укуса лицом он пытался продать цветы на базаре, но местные торговки устроили драку с конкурентом — в результате его забрали в милицию и посадили на пятнадцать суток. В финальной версии фильма Иорданов лишь упоминает об этом случае в беседе с участковым.
Фильм пытались запретить ещё в процессе съёмок. Алкоголик и тунеядец в исполнении Юрия Никулина был сыгран так талантливо, что вызывал у зрителей неподдельную симпатию. Когда пришло время показывать готовый материал худсовету, против «вредной» картины выступили сразу несколько именитых кинематографистов. И лишь благодаря Сергею Герасимову, который смог заручиться поддержкой министра культуры Екатерины Фурцевой, ленту выпустили в прокат.