Официально архив был создан при Адмиралтейств-коллегии по Указу Петра I от 17 января 1724 года, хотя материалы для него собирались с 1718 года. После замены в 1802 году Адмиралтейств-коллегии Министерством Военно-морских сил он был преобразован в Общий архив Морского ведомства (с 1815 года - архив Морского министерства). С 1 июня 1918 года был передан в состав Единого Государственного архивного фонда и до 1925 года являлся его военно-морской секцией. С 1925 по 1934 годы - военно-морской секцией Ленинградского отделения Центрального исторического архива. Затем стал называться Центральным государственным архивом Военно- Морского Флота (ЦГАВМФ).
С июня 1992 года учреждение носит наименование «Российский государственный архив Военно-Морского Флота» (РГАВМФ). В нем сосредоточено более 1,5 млн. дел о боевой деятельности флота, развитии военно-морского искусства, истории кораблестроения и вооружения, военно-морской техники, науки, образования, строительства портов и оборонительных сооружений, а также о научных и географических открытиях, культурных, экономических и политических связях России с миром. Четверть этих материалов - уникальные и особо ценные документы, являющиеся памятниками истории и культуры.
Основным справочником архива служат описи дел, которых в архиве более 5 тысяч томов. Научно-справочная библиотека архива насчитывает более 20 тысяч томов. Периодически архив публикует сборники документов по истории Российского флота.
Главное здание на Миллионной улице построено по проекту архитектора М.Е. Месмахера в 1883-1887 годах, памятник архитектуры Федерального значения. В настоящее время в нём хранятся документы советского периода преимущественно до 1941-го года. Документы следующих лет хранятся в ЦВМА в городе Гатчина. Второе здание архива находится по адресу: Серебристый бульвар, 24, корп.1. В настоящее время в нём хранятся документы дореволюционного периода.
Другие события этого дня см.: 17 января - этот день в отечественной морской истории.