Библиотека расположена в пражском квартале Старе-Место, недалеко от Карлова моста.
Ранее на месте современного комплекса располагался монастырь доминиканцев. Своё название Клементинум берёт от часовни святого Климента, располагавшейся здесь в Средние века.
В 1622 г. в Клементинум была переведена библиотека Карлова университета.
А вот датой основания библиотеки принято считать период с 1781 по 1782 годы.
В 1990 году библиотека получила статус Национальной библиотеки.
Но Клементинум — это не просто библиотека. Это целый комплекс зданий, включающий астрономическую обсерваторию, построенную в 1722 году; зеркальную капеллу, возведённую в 1724 году; университетскую библиотеку, построенную в 1727 году; математический музей, построенный в 1752 году; метеостанцию, построенную в 1751 году.