Разрушение было начато 13 апреля 1934 года, а 11 июня все работы по сносу уже были завершены. За сохранение башни публично выступали художник Игорь Грабарь, академики-архитекторы Иван Фомин и Иван Жолтовский. Каганович объявил сторонников сохранения башни ("старых архитекторов") в классовой борьбе. Сталин и Ворошилов поддержали Кагановича, отправив телеграмму, где высказались за снос. В 1980-е годы 90-летний Каганович, понимая, что решение о сносе Сухаревой башни вызывает гнев и осуждение внутри проснувшегося советского общества, пытался оправдываться, утверждая, что башня была ветха (но большой ремонт был в конце 19 века!) и что рядом с башней гибли люди из-за сложного дорожного движения. В действительности Сухарева башня была снесена по другим причинам: 1) символическим, идеологическим (слишком напоминала о старом мире, который должен быть разрушен до основания, как и сама башня), 2) вероятно, и по суеверным, мистическим причинам: Сухарева башня была «центром силы», с одной стороны