Публичная библиотека была основана в Петербурге в 1795 году. Началось всё с коллекции книг и манускриптов, которую привёз из Польши Суворов. Однако доверили библиотеку французским эмигрантам-роялистам. Они заботились только о своей выгоде и раздавали ценные книги и рукописи направо и налево. Библиотека находилась в непригодном для хранения месте, в садовом павильоне Аничкового дворца. Лишь назначение на должность директора библиотеки графа Строганова спасло её от гибели. Библиотека переехала в подобающее помещение, специальное здание, построенное по проекту архитектора Соколова.
Но по настоящему стал заниматься библиотекой лишь А. Н. Оленин. Это был очень образованный человек. Именно при нём все книги и манускрипты были разобраны и расставлены. Открылся читальный зал. Именно по рекомендации А. Н. Оленина в библиотеку были приняты на должности помощника библиотекаря баснописец И. А. Крылов и Н. И. Гнедич, известный, как переводчик "Илиады".
Отечественная война 1812 года задержала открытие библиотеки. Много ценных изданий было вывезено из-за опасности нападения французов. Поэтому открытие библиотеки состоялось только 2 января 1814 года. А. Н. Оленин тщательно готовился к этому событию. Заранее были подготовлены темы для выступающих.
Однако церковь опасалась открытия публичной библиотеки, так как в ней было много светских и вольнодумных книг. Архимандрит Филарет отказался выступить на открытии библиотеки. Вначале выступил сам Оленин. Затем библиотекарь Красовский прочитал "Рассуждения о пользе человеческих познаний и потребности общественных книгохранилищ для каждого благоустроенного государства". Потом слово было предоставлено Николаю Ивановичу Гнедичу. Его речь называлась "Рассуждение о причинах, замедляющих успехи нашей словесности". Выступление было довольно смелое и могло не понравится приглашённым священникам. Речь И. А. Крылова тоже оказалась двусмысленной.
Несмотря на всё начало было положено. Это был важный этап в культурном развитии нашей страны.