История образования современного музея берёт начало от Цейхгауза (нем.Zeughaus — оружейный дом), основанного в Санкт Петербурге в 1703 году Петром I , который в 1702 году издал указ о сборе военных памятников «для памяти на вечную славу»
В 1703 году дал распоряжение о сохранении для истории мортиры отлитой в 1605 году пушечным мастером Андреем Чеховым и его учеником Проней Фёдоровым и находившейся в Московском арсенале.
В 1711 году был основан Санкт-Петербургский Литейный двор
В 1776 году князь Г. Г. Орлов построил на Литейном проспекте трёхэтажное здание арсенала, где на втором этаже расположился Достопамятный зал — место хранения музейных редкостей.
В 1817 году П. П. Свиньиным было издано первое описание Достопамятного зала на русском и французском языках, а к 1860 году эта коллекция насчитывала более 10 000 предметов, размещённых в 19 залах арсенала.
В 1850—1851 годах Литейный двор вместе с Арсеналом перевели в новые корпуса на Выборгской стороне, получившими после этого название «Новый Арсенал».
Музей с 1868 года располагается на кронверке Петропавловской крепости , это здание было возведено в 1851—1860 годах архитектором П. И. Таманским по плану, предложенному императором Николаем I . Собрание сначала именовалось «Зал достопамятных предметов Главного артиллерийского управления», потом Артиллерийским музеем, а с 1903 года — Артиллерийским историческим музеем
Артиллерийский музей в С.-Петербурге - представляет одно из замечательнейших в историческом отношении хранилищ всякого рода оружия и воинских доспехов и принадлежностей.