Основатель династии немец Джон Астор эмигрировал в Америку в 1783 году. В Новом Свете он разбогател на торговле пушниной и контрабанде опиума в Китай. Заработанные деньги Астор инвестировал в чай, шелка и фарфор, которые затем продавал в Америке. Уже в XIX веке он начал вкладываться в недвижимость. Астор I считается первым американским мультимиллионером; в пересчёте на современные деньги его состояние превышало $110 млрд.
В 1853-м внук Джона Уильям Астор II женился на представительнице высшего общества — Кэролайн Шермехорн. Она происходила из семьи голландских переселенцев, обосновавшихся на Манхэттене еще в XVII веке. Именно Кэролайн стала центром притяжения для высшего общества — негласного клуба представителей американской элиты, носившего название «Четыре сотни» по
количеству людей в Нью-Йорке, которые «действительно имели значение».
В последующем Асторы породнились с семьей Рузвельт, а также британскими монарахами.
В Англии Асторы поселились в Клайвдене. На их приемах можно было встретить Н. Чемберлена,У. Черчилля, Б. Шоу, Джозефа Кеннеди-старшего
(в 1938-40 гг. посла США в Объединенном королевстве), Фр. Д. Рузвельта. И даже — Иоахима фон Риббентропа. По мнению историков, в Клайвдене
вершилась внешняя предвоенная политика Великобритании.
Во владении Асторов находился знаменитый бриллиант "Санси". Один из легендарных драгоценных камней в истории Европы.