Сначала планировалось снять фильм о шайке мошенников, которых сыграли бы: Ролан Быков — фальшивомонетчика Миллиметра, Юрий Никулин — многоженца, Андрей Миронов — угонщика Пижона и Савелий Крамаров — карманника Косого. Все, кроме Крамарова, от ролей отказались, и сценарий переписали. Самого актёра сначала забраковал худсовет, и режиссёру пришлось уговаривать начальство взять Крамарова.
На роль Хмыря пробовались Рудольф Рудин, Виктор Сергачёв и Лев Дуров, но в результате худсоветом был утвержден Георгий Вицин с припиской «надо поработать над гримом».
Дольше всего искали «Василия Алибабаевича» — утвержденный Фрунзик Мкртчян не смог приехать на съёмки. Раднэр Муратов должен был играть эпизодического начальника тюрьмы, его переутвердили уже перед самым началом съемок.
До сих пор многие ошибочно приписывают фильм Георгию Данелии, хотя на самом деле комедию снял Александр Серый. Данелия и Серый дружили еще со времен учёбы на Высших режиссерских курсах, но так получилось, что Александр на четыре года попал в тюрьму за драку, а когда вышел — остался без работы. Тогда Данелия предложил другу совместный проект: он напишет сценарий и будет художественным руководителем фильма, а Серый станет режиссёром. Сценарий Георгий Данелия придумывал вместе с писательницей Викторией Токаревой.
Режиссёр планировал вставить в фильм две песни — «Про слона» в исполнении Георгия Вицина и «Песню о Ялте» в исполнении Савелия Крамарова. Художественный руководитель Георгий Данелия оказался категорически против и вырезал эти песни на монтаже. Они остались только в записи.
Для съёмок сцены в машине с цементом создали специальный раствор — это была подкрашенная зеленым цветом хлебная закваска с луковой эссенцией. Состав получился очень липкий и с отвратительным запахом — после него актёрам пришлось отмываться несколько часов, так что фраза «Хороший цемент, не отмывается совсем…» была чистой правдой.
В казахском городе Джамбул (ныне Тараз), который упоминает Василий Алибабаевич, установлен памятник «Джентльменам удачи». По неизвестной причине в композиции отсутствует герой Георгия Вицина — Хмырь. А недалеко от киностудии «Мосфильм» находится памятник Евгению Леонову в образе Доцента.