К моменту смерти Мухаммеда в 632 году нашей эры, ислам господствовал на большей части Аравийского полуострова.
Через 2 года мусульманские армии с многотысячной конницей отправились в поход с целью завоевания новых земель. Они велели борьбу с христианами и, наконец, в 638 году достигли Иерусалима.
Детали завоевания Иерусалима мусульманами остаются неизвестными, однако существует легенда, гласящая, что город был передан путем мирной передачи власти патриархом Софронием мусульманскому халифу Умару ибн аль-Хаттабу.
Официальная версия гласит, что халиф Умар, правитель мусульман, вошел в Иерусалим, как было предсказано пророком, и встретился с патриархом Софронием. Умар, скромно одетый человек в простой одежде, встретил Софрония, главу христианской церкви, который был окружен священниками, в роскошных одеждах. Вместе они прогулялись по городу. Софроний провел Умара в Храм Гроба Господнего, показал ему святыню и спросил, хотел ли бы халиф помолиться в этом месте. Умар отказался и объяснил: "Если я помолюсь здесь, мусульмане решат, что это святое место теперь принадлежит нам, а оно принадлежит христианам".
Мечеть Умара, расположенная всего в нескольких метрах от Храма Гроба Господня, как полагают, стоит на месте, выбранном халифом для молитвы.
Получив власть над Иерусалимом, мусульмане позволили христианам следовать своей вере и выполнять свои религиозные обряды. Мусульманские правители Иерусалима разрешили семидесяти семьям евреев вернуться в город. Впервые за 500 лет еврейское население Иерусалима увеличилось. Исламское правление привнесло и другие изменения в жизнь города, включая строительство мечети Аль-Акса на южной части Храмовой горы.
Мечеть Аль-Акса неоднократно перестраивалась. Она поддерживается изящными мраморными колоннами и имеет свод. Мечеть украшена четырнадцатью арками, а свет проникает внутрь через 100 прозрачных и витражных окон. В центре дальней стены есть ниша, указывающая направление молитвы.
В 692 году по приказу исламского правителя халифа Абд аль-Малика ибн Марвана была построена еще одна значительная постройка - Купол Скалы.
Абдул Малик приказал украсить стены роскошной мозаикой, изображающей короны и другие символы власти земных правителей. Это роскошное здание, которое многие считают роскошным образцом исламской архитектуры в мире, имеет восемь сторон, четыре входа и 16 окон. Купол снаружи покрыт сплавом алюминия, напоминающим цветом золото. Покрытие новое, но архитектура и большая часть внутренней отделки подлинные. Это сооружение уникально своей почти безупречной геометрией: это круг, вписанный в восьмиугольник, в соответствии с простыми геометрическими правилами. Высота рассчитана с соотношением примерно восемь к пяти, что соответствует золотому сечению, основе всех знаменитых архитектурных шедевров. Через 1300 лет после ее постройки это здание остается одним из самых узнаваемых в мире.
В Иерусалиме был построен исламский монумент, возвышающийся над другими зданиями и говоривший всем приезжим - это мусульманский город. Хотя по всем кварталам располагаются христианские храмы, сам город принадлежит и управляется мусульманами. Возведение "Купола Скалы" было знаменательным событием, поскольку это сооружение символизирует почитание горы как места, связанного с Богом как создателем и спасителем. Существуют легенды о том, что на этом месте стоял трон Божий, когда Он был на земле. В течение времени вся территория стала называться "аль-Харам аль-Кудс аш-Шариф" - "благородное святилище".
Подобно христианству и иудаизму, в исламе существует представление о грядущем Судном дне, и множество преданий утверждают, что в этот день все правоверные соберутся в Иерусалиме, а сам Мухаммед спустится на землю, а Кааба - священный камень, вокруг которого совершают обряд Хадж, будет перенесена из Мекки в Иерусалим.
Иерусалим станет для мусульман третьим святым городом после Мекки и Медины. Многие места в городе, особенно на вершине Храмовой горы, считаются священными для мусульман. Даже посещение города считается благочестивым поступком. Позднее городу было дано арабское название Ал-Кудс, что означает "святыня".
Важность Иерусалима для мусульман подчеркивается еще и количеством священных мест. В предании утверждается, что в Иерусалиме нет ни пяди земли, где не ступала бы нога пророка. В литературе также упоминаются и окрестности Иерусалима как священное место. Другим святым местом для мусульман является пещера, известная как "Колодец душ", расположенная прямо под Храмовой горой.
Внутри купола под стеклом хранится отпечаток руки пророка Мухаммеда на камне.
В период с VIII по X век Иерусалимом управляли различные династии мусульманских халифов. В то время христиане составляли большую часть населения, но с ростом мусульманского влияния мусульмане стали преобладать. В Иерусалиме увеличилось также еврейское население, а в городе появилась большая синагога.