После смерти Сталина влияние Кагановича на короткое время вновь возросло. В качестве одного из первых заместителей Председателя Совета Министров СССР он возглавил несколько важных министерств. Каганович решительно протестовал против намерения Никиты Сергеевича Хрущёва, ставшего главой партии после смерти Сталина , доложить делегатам 20 - го съезда КПСС о преступлениях покойного " диктатора ". Когда было предложено дать слово на съезде нескольким вернувшимся из лагерей старым большевикам, Каганович воскликнул: " И эти бывшие каторжники будут нас судить? " Здорово! Какое мужество!
В конце 40 - х годов его старший брат Михаил стал жертвой шпиономании. На Политбюро ЦК КПСС, где докладывали о якобы тайном сотрудничестве Михаила Кагановича с гитлеровцами, Лазарь Каганович промолчал ( вёл себя достойно ), заслужив похвалу Сталина за принципиальность. Сталин хорошо знал своё окружение.
В прошлом Каганович был в очень плохих отношениях с другими важными фигурами в окружении Сталина, но теперь они стали сближаться на почве общей вражды к Хрущёву и его политике.