Румянцевский музей, учреждённый в 1828 году и основанный в 1831 году в Санкт-Петербурге, с 1845 года входил в состав Императорской публичной библиотеки . Музей находился в бедственном положении. Хранитель Румянцевского музея В. Ф. Одоевский предложил перевезти Румянцевские коллекции в Москву, где они были бы востребованы и сохранены. Записку Одоевского о тяжёлом положении Румянцевского музея, направленную на имя министра государственного двора, «случайно» увидел Н. В. Исаков и дал ей ход.
Значительная роль в становлении Московского публичного и Румянцевского музеев принадлежала петербургским библиотекам и прежде Императорской публичной библиотеке , чей директор М. А. Корф лично поручил В.Ф. Одоевскому составить записку о бедственном положении Румянцевского музея в Петербурге и возможности перевода его в Москву, и желая «явить новый знак своего искреннего сочувствия и содействия к дальнейшему преуспению Московской публичной библиотеки, ходатайствовал об обращении в неё книг».
Возвращение в марте 1918 года столицы в Москву изменило статус библиотеки ГРМ, которая вскоре становится главной библиотекой страны.
В 1918 году в библиотеке ГРМ были организованы межбиблиотечный абонемент и справочно-библиографическое бюро.
В 1919 году постановлением Совнаркома Государственному Румянцевскому музею на его развитие отпускаются значительные средства, что позволило увеличить штат, создать научные отделы, привлечь к работе ведущих учёных, приступить к созданию новых советских таблиц библиотечно-библиографической классификации, построению на их основе систематического каталога.
В 1921 году библиотека становится государственным книгохранилищем. Библиотека приняла участие в реализации Постановления ЦИК 1918 года «Об охране библиотек и книгохранилищ», включив в свои фонды брошенные, бесхозяйные, национализированные книжные коллекции. В силу этого фонд библиотеки с 1 млн 200 тысяч единиц на 1 января 1917 года вырос до 4 млн единиц, которые требовалось не просто разместить на недостаточных площадях, но и обработать, сделать доступными для читателей.
29 марта 1945 года, за выдающиеся заслуги в деле собирания и хранения книжных фондов и обслуживания книгой широких масс населения (в связи с 20-летием преобразования Библиотеки Румянцевского музея в Государственную библиотеку СССР имени В. И. Ленина) библиотека награждена орденом Ленина. Одновременно орденами и медалями была отмечена большая группа сотрудников библиотеки.
В 1946 году ставится вопрос о создании сводного каталога русской книги. В 1993 году отдел изоизданий стал одним из учредителей Московской ассоциации библиотек по искусству (МАБИС).
В 1995 году библиотека начинает проект «Культурное наследие России» («Память России»).
В 1996 году утверждена «Стратегия модернизации Российской государственной библиотеки».
3 марта 2001 года утверждён новый Устав РГБ. Внедрение новых носителей информации, информационных технологий изменяет технологические процессы.