Съёмки фильма начались в декабре 1970 года. Режиссёр фильма Александр Серый сам побывал в местах заключения и уголовный жаргон знал не понаслышке. Один из сценаристов фильма, Георгий Данелия , решил помочь недавно освободившемуся коллеге в творчестве. Совместно с Викторией Токаревой он написал сценарий и получил добро на съёмки в Госкино . Также он принял активное участие в подборе актёров и съёмках фильма.
Свою роль в создании фильма Георгий Данелия охарактеризовал как «художественный руководитель», хотя режиссёром оставался Александр Серый[2] . Но в какое-то время Данелии пришлось снимать некоторые эпизоды из-за того, что материал, снятый Серым, не соответствовал его видению[3] . Премьера фильма прошла в московском кинотеатре «Россия » 13 декабря 1971 года.
В общем сотрудники милиции отнеслись к сценарию будущего фильма благосклонно, а министр внутренних дел Николай Щёлоков хохотал над фильмом до слёз. Однако из-за обилия тюремного жаргона ленту «тормозили» до тех пор, пока её не посмотрел Леонид Брежнев . Он дал добро, заметив, что сегодня все блатные термины из этого кино знает любой мальчишка. Картина имела феноменальный успех в прокате и стала очень популярной. Многие цитаты из фильма стали крылатыми фразами.
Александр Серый планировал вставить в фильм две песни — «Про слона» в исполнении Георгия Вицина (в эпизоде, когда Хмырь играет на рояле) и «Про Ялту» в исполнении героя Савелия Крамарова. Композитор Геннадий Гладков написал для Вицина нечто вроде «Собачьего вальса», но художественный руководитель Георгий Данелия, монтировавший картину, был категорически против включения этих песен в фильм. В результате признаком того, что в фильме должен был присутствовать музыкальный номер, является единственный кадр из эпизода, когда милиция арестовывает Хмыря, Косого и Доцента (там виднеется часть гитары).