Идея фильма о непоседливых пенсионерах Эльдару Рязанову и Эмилю Брагинскому пришла после того, как Рязанов попал в больницу и там познакомился с интересным пенсионером. Тот рассказал, что его "практически насильно" уволили из прокураторы.
Рязанов, в свою очередь, поведал эту историю свою другу Брагинскому и у них через некоторое время появился практически готовый сценарий.
Эльдар Рязанов, как и для большинства своих фильмов, актеров на главные роли выбрал самостоятельно: он просто пригласил сниматься Юрия Никулина, Евгения Евстигнеева, Георгия Буркова и Ольгу Аросеву.
Правда насчет Аросевой он не был до конца уверен: он боялся, что зрители увидят в ней "пани Монику" из-за большой популярности телепередачи "Кабачок "13 стульев". Чтобы этого не произошло, он потребовал от Ольги кардинально поменять внешний вид: "и чтобы ни одного завиточка!".
На роль молодого следователя, для которого герой Юрия Никулина должен был освободить место, режиссер пригласил Анатолия Кузнецова (товарища Сухова из "Белого солнца пустыни"). Кузнецов же попросил роль одного из пенсионеров, на что Рязанов ответил, что "пенсионеры уже заняты", и Кузнецов отказался от роли в фильме. Таким образом, молодым следователем стал Андрей Миронов.
Съемки фильма проходили в Москве и Львове. Картину Мячников и Воробьев "воровали" в павильонах Мосфильма, а вот "ограбление" Мячникова снимали в Москве, на Трубниковском переулке.
Львовская ратуша была в фильме показана как вид музея снаружи, а лестница музея - это лестница на журфаке МГУ.
– На съемках фильма «Старики-разбойники» Никулин на свои темные волосы надевал седую накладку, – рассказывает Ольга Аросева. – Я замечаю, что из-под нее выбивается седина. «Зачем тогда тебе парик, когда можно собственные седые волосы отрастить?» – спросила я и была потрясена ответом: «Я в цирке работаю, клоуном, – сказал Никулин. – Если дети будут смеяться над старостью – это нехорошо. Когда я, Балбес, падаю, пусть себе хохочут. А если старичок упадет, над ним смеяться грех. Вот я и крашусь в брюнета».
После премьеры фильма поговаривали, что предприимчивые молодые люди во время съемок умудрились загримироваться под Никулина и Евстегнеева и под видом "репетиции выноса картины" по-настоящему вынести полотно из Львовского музея.
Неизвестно, откуда пошли эти рассказы, но такого случая на самом деле не было. Да и сама история выглядит неправдоподобно: это насколько талантливыми гримерами нужно быть, чтобы работники музея спутали грабителей с популярными актерами?