Да, в случае нехватки локальной видеопамяти драйвер может использовать часть системной памяти.
Наличие или отсутствие проблем из-за этого зависит от того, насколько важные для рендеринга данные попадают в медленную оперативную память.
Если игровой движок и драйвер правильно используют системные ресурсы, то необходимые данные будут правильно загружены на шину в локальную память, и это не повлияет на производительность.
При обратном вызове GPU напрямую в ОЗУ, приволит до резкого падения fps / зависаний изображения.