Как я писал в прошлых постах, СУБД - это обычная программа, только работающая специальным образом. Можно сказать чуть больше - в мире программирования практически все продукты являются обычными программами, без какой-то волшебной магии. СУБД устанавливается на компьютер - хоть на простой ноутбук, хоть на дорогущий сервер. Некоторые из СУБД (например - SQLite) вообще работают даже на мобильных устройствах. Собственно говоря, как и любая другая программа, СУБД хранится в некоторой папке. В случае с ОС Windows, это часто C/Program Files...

В славном мире программирования существуют прикладные программы (понятный человеку интерфейс для решения прикладных задач), и базы данных (информация, которая как-то связана с этими задачами). База данных представляет из себя специальный файл, где в определенном виде хранятся данные - цифры, текст, картинки с котиками, и так далее. Как правило, такие файлы скрыты от глаз пользователя, и расположены глубоко в недрах файловой системы, или внутри серверов если речь идёт про облачные приложения. Прикладные программы обычно не хранят данные самостоятельно...