Мысом Ай-Тодор заканчивается один из отрогов горы Могаби; он состоит из трёх скалистых выступов. На западной части мыса сохранились остатки римской крепости. Центральный отрог называется Монастырь-Бурун, на нём был расположен средневековый монастырь Ай-Тодор, который и дал название мысу. Топонимический смысл греческого препозита ай в сочетании с собственным личным христианским именем означает — храм Святого Феодора Стратилата.
В «Путеводителе по Крыму» М. Сосногоровой, изданном в Одессе в 1880 году, отмечено, что на вершине мыса Ай-Тодор «существуют развалины небольшого строения, которые явно принадлежат греческой церкви, где заметны ещё места для алтаря и для престола и сохранилось много фигурных кирпичей с клеймами».
В 1835 году на мысе Ай-Тодор, отчасти на месте греческой постройки, был возведен маяк. Инициировал строительство командующий Черноморским Флотомадмирал М. П. Лазарев.
С 1827 по 1865 год первой владелицей земель на мысе Ай-Тодор была баронесса София-Юлия (Анна) Алексеевна де Беркгейм (1782—1865). Её матерью была баронесса Варвара фон Крюденер, известная проповедница мистического христианства, оказавшая влияние на императора Александра. Баронесса Беркгейм прибыла в Крым в 1824 году, вместе с матерью и с её близкими подругами,графиней де ля Мотти княгиней Анной Голицыной, владелицей обширного имения в Кореизе. Причиной отъезда этого союза единомышленниц из столицы послужило то, что графиня де ля Мотт, жившая в России под именем графини де Гаше, в 1824 году была выслана императором в Крым, где она жила до своей смерти в 1826 году.
С 1824 года баронесса Беркгейм и княгиня Голицына жили вместе в Петербурге и в Крыму, так как имели замысел создать на крымской земле в своих имениях «колонию пиетистов». Пиетизм в это время был широко распространён в придворных кругах. С этой целью баронесса Беркгейм приобрела шесть участков земли в Гаспре на мысу Ай-Тодор, на них были заложены виноградники. А. С. Голицына умерла в 1838 году, оставив завещание на всё своё имущество баронессе Беркгейм, которая продолжала жить в имении до конца своей жизни, в кругу других последователей В. Ю. Крюденер[7]. Замысел создания колонии пиэтистов так и остался неосуществлённым.
После смерти баронессы 14 мая 1865 года суд, согласно завещанию А. Голицыной, постановил передать имение Марии Ивановне, Николаю Ивановичу и Александру Ивановичу Гончаровым. Из-за длительной неуплаты налогов и других затрат Гончаровы начали распродавать имение.
В мае 1888 года врач, доктор медицины, Адальберт Карлович Тобин, участник Крымской войны, Балаклавского сражения, купил у А. И. Гончарова эти участки. К этому времени у А. К. Тобина в Ялте уже в 1873 году был построен дом, врач имел в городе врачебную практику, с 1876 по 1882 год служил также врачом в больнице при императорской резиденции «Ливадия». В 1889 г. Адальберт Тобин построил "на Аврориной скале с западной стороны дом с белой балюстрадой на крыше под названием «Белая ласточка», а между маяком и средним утесом были «разбросаны дачные домики того же землевладельца». Дачи были выстроены в открытом поле, где не было ни тени, ни зелени, ни пресной воды, но их охотно снимали люди, «жаждущие восстановить за дешёвую цену свое здоровье и подышать свежим воздухом».
Жена Тобина, Елизавета Александровна, урождённая фон Штейнгель, также приобретшая участки, на Аврориной скале на высоте 38 метров построила каменный дом над обрывом, названный виллой «Генералифе». Путеводитель по Крыму, изданный в 1894 году, уже рассказывает о том, что «на последнем утёсе, у края обрыва, стоит оригинальный дом г. Тобина, в виде замка с башнею»[16]. Здание можно увидеть на полотнах известных художников-маринистов: И. К. Айвазовского, Л. Ф. Лагорио, А. П. Боголюбова, а также на фотографиях того времени. Это здание в 1905 году фотографировал работавший тогда с апреля по сентябрь в Крыму С. М. Прокудин-Горский.
Семья развивала замысел создать новый курорт на мысе Ай-Тодор, и имела два дома: один из них принадлежал мужу, а другой жене. Но в 1891 году, после смерти мужа, Елизавета Александровна стала распродавать земли на мысе Ай-Тодор. 18 октября 1902 года участок с каменным домом, оштукатуренным и выкрашенным в красный цвет, был продан младшей сестре хозяйки, баронессе Софье Александровне фон Штейнгель. В 1908 году он описывается так: «На Ай-Тодоре существуют следующие дачи: „Генералифе“, замок любви, более известная под названием „Ласточкино гнездо“. Комнаты в наём здесь не сдаются». После 1911 года сёстры фон Штейнгель остались жить в Крыму, вскоре к ним присоединился брат — Эммануил Александрович фон Штейнгель (1838—1915). Они поддерживали отношения со своим двоюродным братом, Л. В. фон Штейнгель, и с его сыновьями, Павлом и Борисом.
Большую часть земель купил Павел Григорьевич Шелапутин — действительный статский советник, потомственный дворянин и знаменитый меценат, на средства которого был создан эллинистический зал Музея изящных искусствна Волхонке. На мысе построили небольшой курорт «Жемчужина», он описан в путеводителе по Крыму 1908 года: «С восточной стороны маяка — имение П. Г. Шелапутина „Жемчужина“, занимающее свыше 13 дес., и имеющее 8 дач различной величины, в 11, 4. 3 и 1 комнаты, которые сдаются помесячно. … Комнаты сдаются с прислугой и самоварами, питьевая вода привозная. Среди дач одна расположена над обрывом между „Генералифе“ и маяком, и также известна под названием „Ласточкино гнездо“».
В 1911 году участки и дом купил московский миллионер Сергей Карпович Рахманов, старший брат философа и издателяГеоргия Карповича Рахманова. Братья Сергей, Иван и Георгий Рахмановы принадлежали к одной из самых богатых семей в Москве. Они вошли в архитектурную историю Москвы строительством известных доходных домов, которые стали характерными ампирными приметами столицы. Рахмановы известны также своим уникальным собранием иконописи, над которым работал приглашённый ими Павел Муратов.
Именно при Сергее Карповиче Рахманове имение «Ласточкино гнездо» получило свой нынешний вид — романтический замок, напоминающий средневековые сооружения на берегах Рейна. Проект нового дома в 1911 году был заказан опытному инженеру, архитектору Николаю Сергеевичу Шервуду, сыну архитектора С. В. Шервуда, внуку архитектора Владимира Шервуда. В 1913 году на тесной площадке отрога Монастыр-Бурун был построен оригинальный готический замок. Задуманная архитектором ступенчатая композиция исходила из малых размеров участка. Здание 12-метровой высоты располагалось на фундаменте шириной 10 и длиной 20 метров. «Птичьим» объёмам отвечало внутреннее устройство: кабинет, гостиная, и две спальни последовательно располагались в двухэтажной башне, которая поднималась над скалой. Рядом со зданием был разбит сад. Дом продолжал называться «Ласточкино гнездо», также «Ласточкино гнездо Рахманова», иногда на видовых открытках того времени имение называется «Новым Ласточкиным гнездом». В газете «Крымский курортный листок» от 4 августа 1913 года сообщается об окончании работ: «Перешедшее во владение московских миллионеров Рахмановых „Ласточкино гнездо“ украсилось новым красивым в средневековом стиле замком, построенным алупкинским архитектором Н. С. Шервудом». Участок был записан на Агнию Павловну Рахманову (урождённую Свешникову. В 1914 году, после смерти С. К. Рахманова, собственность на виллу перешла также и его дочери, Марии Сергеевне Кюлевой. .
После 1917 года на вилле жила дочь С. К. Рахманова, Мария Сергеевна Кюлева, с мужем, молодым учёным Владимиром Артёмовичем Кюлевым, братом художника Ивана Кюлева, так же выехавшего в эмиграцию. В июне 1918 года они принимали в «Ласточкином гнезде» художников С. Ю. Судейкина и его жену, Веру Судейкину. Владимир Артёмович и Мария Сергеевна Кюлевы эмигрировали из Ялты во Францию в ноябре 1920 года, незадолго до окончательного установления Советской власти.
После отъезда владельцев имение было разграблено, похищена ценная коллекция картин. Сохранилось описание дома, сделанное в 1920 году: «Каменное здание с плоской крышей, одноэтажное, с круглой башней, возвышающейся над самим обрывом, в восточно-южном углу этого дома-замка..В доме всего четыре комнаты и в башне передняя. Напротив прилепилась к скале каменная кухня без окон, со стеклянной крышей… Несколько старых можевельников, дико растущих на западной границе имения, составляет всю растительность этой скалы… Водопровод проведён от источника Михайловский, находящийся над Алупкой верстах 9 от имения. …Отопление в доме — каминное, в кухне железною плитою. Освещение керосиновыми лампами…».
В годы Гражданской войны «Ласточкино гнездо» было заброшено. В конце 1920 года после установления на полуострове Советской власти все бывшие частные владения были переданы в ведение Главного управления совхозами Крыма. В 1927 году в Крыму произошло сильное землетрясение. Образовалась глубокая косая трещина в скале под замком, часть её вместе с садом обрушилась в море, а обзорная площадка нависла над пропастью, однако само здание практически не пострадало. В 1930-е годы здесь находился читальный зал местного Дома отдыха «Жемчужина», но вскоре сооружение признали аварийным и закрыли.
Восстановление началось в конце 1960-х годов. Скала была укреплена, под основание замка подведена железобетонная плита, а сам он отреставрирован. Здание становится узнаваемым символом Крыма.
После реконструкции, в 2002 году «Ласточкино гнездо» вновь открылось для посещения. Вначале в нём располагался итальянский ресторан, а возле стен дворца работал большой рынок крымских сувениров.
В июле 2011 года памятник архитектуры и истории национального значения был передан в муниципальную собственность, став Крымским республиканским учреждением «Дворец-замок „Ласточкино гнездо“». Тогда же здесь открылась выставка «Волшебный мир Архипа Куинджи», на которой экспонировалась картина «Лунная ночь на Днепре». Художественные, археологические и краеведческие выставки меняются каждые 1,5—2 месяца.
В 2013 году в плите-фундаменте обнаружили трещины, и осенью посещение замка приостановили для проведения проектных работ по реконструкции — укреплению скалы.
В настоящее время дворец находится в аварийном состоянии и ожидает реставрации. Балкон, нависающий над морем, «представляет собой абсолютно аварийную опасность», — сказала министр культуры республики Крым Арина Новосельская. Дворец полностью закроется для посещений, когда начнутся ремонтные работы.
Укрепить скалу под зданием будет трудно, так как чем больше туда загоняется укрепительного материала, тем тяжелее она становится, раздуваясь и раскалываясь.
17 октября 2015 года Правительство РФ приняло постановление об отнесении Ласточкиного гнезда к объектам культурного наследия федерального значения.
В сентябре 1927 года «Ласточкино гнездо» пострадало во время сильного землетрясения силой 6—7 баллов по шкале Меркалли, произошедшего в Крыму. Глубокая косая трещина прошла от верхней площадки к середине, так что замок мог в любой момент обрушиться. Часть опорной скалы вместе с садом обрушилась в море, и обзорная площадка угрожающе нависла над пропастью. Само здание почти не пострадало, если не считать сорванных шпилей и оторванной части скалы под нижним балконом. Тем не менее здание было закрыто для посещений. Высказывались предложения даже разобрать его и построить на новом безопасном месте.
Только в 1967—1968 годах, через сорок лет после землетрясения, рабочие «Ялтаспецстроя» выполнили ремонт, не разбирая стен. Руководил реставрацией архитектор И. Г. Татиев. Восстановительные работы, которые начались в 1968 году, были направлены на укрепление фундамента, частичное видоизменение фасада и внутренних помещений. Автор проекта реставрации ялтинский конструктор В. Н. Тимофеев посадил крайний блок здания на консольную железобетонную плиту, заведённую под центральный объём. Таким образом была надёжно закреплена крайняя часть дома, которая осталась висеть над обрушенной скалой. Кроме монолитной плиты, всё сооружение обнесли антисейсмическими поясами. Увеличенная в высоту башня приобрела большую декоративность благодаря четырём шпилям.