Рабочее название киноленты – "Рецидивист". Первоначально планировалось снять фильм о незадачливых приключениях банды мошенников. В киноленте должны были сниматься: Роллан Быков в роли фальшивомонетчика Миллиметра, Андрей Миронов должен был сыграть угонщика Пижона, а Юрий Никулин – альфонса и многоженца. Но у актеров на тот момент был плотный график съемок, и они вынуждены были отказаться от участия в фильме.
Кинопробы на роль Хмыря проходили актеры Виктор Сергачев, Лев Дуров
и Рудольф Рудин.
В итоге худсовет утвердил Георгия Вицина, но выдвинул требование – использовать грим.
Василия Алибабаевича должен был сыграть Фрунзик Мкртчян, но актер был занят, поэтому после многочисленных кинопроб остановились на Раднэре Муратове, который к тому времени успешно прошел пробы на роль начальника тюрьмы. Владимир Этуш тоже хотел сыграть роль незадачливого мошенника, но худсовету его игра показалась неубедительной.
Роль Доцента с самого начала планировали отдать Евгению Леонову. Чтобы лучше вжиться в роль, актер даже посещал Бутырскую тюрьму, где наблюдал за манерами и поведением заключенных.
Для съемок сцены побега из тюрьмы долго не получалось подобрать вместо цемента подходящий по цвету и консистенции состав. Так как актерам пришлось бы в него погрузиться чуть ли не с головой, в итоге решили остановиться на подкрашенной хлебной закваске.
Состав получился липким и терпким. Снимали несколькими дублями, когда съемки закончились, актёры вылезли из бочки, а Вицина нет. Оказывается, кто-то из съёмочной группы сказал, что состав полезен для здоровья и Георгий Вицин решил устроить себе укрепляющую ванну.
Для того, чтобы снять сцену внутри цементовоза, была изготовлена специальная ёмкость, которую разместили в павильоне киностудии.
А сам спуск в машину снимали отдельно. Цистерна автомобиля была пустой, но несмотря на это Савелий Крамаров всё равно отказался спускаться вовнутрь, так как страдал клаустрофобией. Поэтому одним кадром снимали появление из автоцистерны Доцента и Хмыря, затем показывали верблюда и уже в следующем кадре зрители видели как Косой спрыгивает с автомашины.
Сценарий фильма создан Георгием Данелия в соавторстве с Викторией Токаревой.
Режиссером фильма стал Александр Серый, однокурсник и друг Данелии, человек со сложной судьбой.
В 31 год Александр угодил в тюрьму. Он молотком сильно ударил мужчину, к которому приревновал свою девушку. Александра Серого осудили на 8 лет, но уже через 4 года условно-досрочно освободили. Жаргонные фразы "моргалы выколю", "канай отсюда", тюремные разборки, плакаты, жесты уголовников – всё это было привнесено в фильм режиссером из своего печального тюремного опыта.
Случались на съёмках и забавные моменты. Долго не могли снять сцену с таксистом. Олег Видов играл милиционера, который под видом таксиста, возит бандита Косого в поисках нужного адреса. Как только Савелий Крамаров начинал говорить, Олег Видов поворачивался к нему, смотрел и начинал безудержно хохотать. И так с десяток дублей.
В итоге Олег Видов предложил режиссеру, что во время съемки будет смотреть только вперед, не поворачиваясь к Савелию Крамарову. И режиссеру ничего не оставалось, как только согласиться.
Квартира, в которой обосновались после побега рецидивисты, находилась в доме, предназначенном под снос, поэтому, когда по сценарию она должна была загореться, съёмочной группе разрешили поджечь её по-настоящему.