Преобразование Библиотеки Государственного Румянцевского музея в Государственную библиотеку СССР им. В. И. Ленина привело к значительному увеличению количества книг и повышению ее статуса, что потребовало определенных изменений в организации. В первую очередь было необходимо расширить площади здания. В 1926 году СНК СССР признал, что существующее здание не соответствует ее значению.
В 1927—1929 годах был проведен конкурс на лучший проект нового здания. Предпочтение было отдано проекту архитекторов Гельфрейха и Щуко, хотя они не участвовали в конкурсе. Их работу высоко оценил директор библиотеки Невский.
Невский добился решения о строительстве нового здания, которое стало примером советского ар-деко стиля. Здание сочетает советский монументализм с неоклассическими формами и гармонично вписывается в архитектурное окружение Московского Кремля.
Фасад здания украшен бронзовыми барельефами с изображениями известных ученых, философов и писателей, таких как Архимед, Ньютон, Пушкин и Гогол