Древнее выражение, со временем весьма изменившее своё значение.
Первое библейское упоминание встречается в "Песне песней" Соломона. В качестве описания внешности:
«Шея твоя — как столп из слоновой кости» (Песн. 7:5).
Позднее, в средние века в католической молитве, читавшейся на латинском языке Дева Мария сравнивалась с башней из слоновой кости - (лат.) "Turns eburnea".
В значении чистоты и неприступности для искушений .
В XIX веке француз, Шарль Огюстен Сент-Бёв употребил фразу в книге "Августовские мысли" в другом значении.
Описывая стиль жизни своих коллег-литераторов, в частности Альфреда де Виньи:
«А самый таинственный, Виньи, ещё до полудня словно возвращался в башню из слоновой кости».
Имея в виду: душевное состояние писателя в высоком мире своего творчества.
После чего французское выражение "La tour d'ivoire" стало популярным и начало появляться в творчестве других литераторов.
Несколько раз его употребил Гюстав Флобер.
В значении, близком к сегодняшнему:
«Я всегда пытался жить в башне из слоновой кости; но окружающее её море дерьма поднимается всё выше, волны бьют об её стены с такой силой, что она вот-вот рухнет». © Г. Флобер.
Сейчас это выражение означает - бегство от реальности [эскапизм], уход из суеты и жестокости мира в творчество и размышления.
Однако нельзя забывать, что изделия из слоновой кости - тонкие и хрупкие.
И в реальный мир придётся возвращаться в любом случае.