После того, как на замок было наложено проклятие, три его владельца обанкротились. Четвертый и его семья утонули в Черном озере.
Традиция утверждает, что в 15 веке наследница семейства ле Кердерн вышла замуж за Маккаллоха (из Вигтауншира) и рассказывает мрачную и драматическую историю о том, как она стала последней представительницей своей расы. Некий лорд Кардонесса исчерпав свои ресурсы в строительстве своего замка, присоединился к банде пограничных воров и нажил значительное имущество путем грабежа.
За 20 лет супружеской жизни его жена родила ему девять дочерей, но это не удовлетворило его усилившееся стремление увековечить свое имя, и он пригрозил своей даме, что, если в ее приближающемся заключении она не родит сына, он утопит ее и всех ее девять дочерей Черном озере и высмотрит другую жену .Вероятность того, что он осуществит эту угрозу, не вызвало сомнений ни на минуту, и поэтому дама и ее соседи обрадовались, когда она действительно подарила своему мужу мальчика.
Была середина зимы ( около 1395г) и озеро было полностью замерзшим, поэтому Лорд объявил о своем намерении устроить грандиозный праздник на том же Черном озере. В соответствии с его приказом, в определенное воскресенье, вся его семья была собрана там, за исключением одной дочери, которая не смогла присоединиться к вечеринке( в некоторых версиях истории говорится, что она посещала свою мать дома). Пиршества были в разгаре, когда внезапно лед тронулся, и старый де Керден погрузился в темные воды и погиб вместе со всей семьей, за исключением одной молодой женщины.
Замок Кардонесс принадлежал Маккалокам, известной семье Голлоуэй в середине века. Один из них построил этот внушительный дом в башне где то в конце 15 века. До этого они жили в замке из земли и бревен за фермой Борелэнд в Анвоте, немного западнее от сюда.
Уильям Маккалох, унаследовавший замок в 1592 году, сыграл свою роль в плохом управлении финансами семьи, и в 1622 году имение пришлось заложить . В 1629 году он был передан Джону Гордону из Верхнего Ардуолла, семье, с которой Маккаллохи часто ссорились на протяжении многих лет. Джон Гордон не переехал в замок, предпочитая жить в своем собственном, более комфортабельном доме в Буш-о'Билде недалеко от Анвота. Семья Маккаллохов не собиралась оставлять замок пустым,и к 1668 году Александр Маккалох вернулся в Кардонесс, как ни в чем не бывало.
Александр и его сын Годфри были готовы на все, чтобы сохранить Замок. В 1668 году Александр был заключен в тюрьму и оштрафован за нападение на Мэрион Пиблз, вдову Гордана Кардонесского. Утверждается,что он вытащил ее из постели больную, выгнал из дома и бросил умирать на помойке.
Годфри Маккалок застрелил Гордона Карданесского. Он был приговорен к смертной казни за свое приступление, но сбежал и несколько лет жил за границей. В конце концов он вернулся в Шотландию ибыл замечен во время церковной службы в Сент-Джайлсе в Эдинбурге. Он был казнен на печально известной "Деве", одним из последних погибших на шотландской гильотине.
Замок проходил через разные семьи, от Гордонов до Максвелл, Стюартов, Мюррей-Бейли из Кэлли, а затем обратно к Максвеллам. Вскоре он превратился в руины без крыши, а в 1927 году он был передан в ведение государства, подаренный леди Максвелл.