Окончание "-BURY" в топонимах Canterbury, Salisbury, Queensbury, является реликтом дательного падежа для "borough" - городок, район, от англосаксонскго "burg" - город, укрепление, зáмок.
Например, давайте рассмотрим "Кентербери", оно происходит от древнеанглийского названия "Cantwaraburg", что дословно переводится как "город жителей Кента".
Дело в том, что названия мест и городов очень часто употребляются с предлогами on, in, from, out, of, to, и они когда-то использовались с дательным падежом. А дательный падеж для "burg" выглядел как "byriġ".
город - burg
в городе - on byriġ
в город - tō byriġ
"Ðā ēodon hī tō Cantwarabyriġ
Затем отправились они в Кентербери."
Так, из-за своей частоты употребления, дательная форма становится "общей" или "регулярной". На дворе среднеанглийский период, падежей уже давно нет, но люди продолжают использовать "остатки", так сказать, по старой памяти.
При этом, сегодня существует множество названий типа "Bamburgh", "Ludborough", "Swainsboro", "Edinburgh", где сохранилась именительная форма.