Библиотека Ивана Грозного была основана его дедом, Иваном III. После смерти первой жены Ивана III, Марии Тверской, в 1467 году отец Павел II предложил Ивану III жениться на Софье Палеолог, племяннице последнего византийского императора, в попытке связать Россию со Святым Престолом в Риме. В 1472 году Иван и Софья поженились, и коллекция старых книг была привезена вместе с ней в ее новый дом в Москве.
Иван Грозный тоже был книготорговцем и мог бы пополнить библиотеку деда новыми рукописями. Считается, что в библиотеке Ивана хранились документы, написанные на греческом, латыни, древнееврейском и египетском языках, китайские тексты 2-го века и документы эпохи самого Ивана Грозного.
Кристофер фон Дабелов, историк XIX века, утверждал, что видел список названий из пропавшей коллекции. Он сказал, что список включал 142 тома "Истории Рима" Тита Ливия, полную версию "республики" Цицерона (только фрагменты сохранились в западных библиотеках) и неизвестную поэму Вергилия... Безусловно, стоит поискать коллекцию, хотя факт, который подрывает доверие к утверждению, заключается в том, что Дабелов никому не показывал предполагаемый список.
После смерти царя библиотека просто исчезла, некоторые полагали, что она была уничтожена пожаром. Другие утверждали, что библиотека выжила, и что Иван наложил проклятие на библиотеку, и те, кто собирался найти его библиотеку, потеряют зрение.
Несмотря на возможность того, что библиотека больше не существует, и предполагаемое проклятие, охотники за сокровищами были неумолимы в своих поисках потерянной библиотеки. На протяжении столетий многие пытались найти эту библиотеку, в том числе Петр Великий и представители Ватикана, которые посещали Москву во время правления Бориса Годунова.
В первой половине 20-го века русский археолог Игнатий Стеллецкий всю жизнь искал эту библиотеку. Используя карты Кремля разных веков и архивные материалы, он смог построить предположения о местонахождении библиотеки и получил разрешение на раскопки от Советского правительства в 1929 году. Хотя раскопки под Арсенальной башней начались в 1933 году, они были прекращены в следующем году после убийства Сергея Кирова. С началом Второй мировой войны несколько лет спустя, земляные работы фактически прекратились. Хотя Стеллецкий намеревался возобновить работу в конце войны, слабое здоровье помешало ему это сделать, и он умер в 1949 году.