Jerusalem quan trọng đối với người Hồi giáo vì người ta tin rằng Nhà tiên tri Muhammad đã từ Jerusalem lên trời sau khi được đưa đến đó từ Mecca. Người Hồi giáo cũng đối mặt với Jerusalem trong lời cầu nguyện thay vì Mecca vì nó có liên quan đến Môi-se, Áp-ra-ham, Chúa Giê-su và các tiên tri khác.
Theo Inside Islam, Muhammad không tin rằng mình đang tạo ra một tôn giáo mới. Thay vào đó, anh ta cảm thấy rằng anh ta đang đẩy mạnh hơn nữa tôn giáo được tạo ra bởi các nhà tiên tri trước đó. Bởi vì ông cảm thấy rằng Hồi giáo có chung dòng dõi thần học với Cơ đốc giáo và Do Thái giáo, Jerusalem là biểu tượng của sự kết nối giữa các tín ngưỡng đó. Người Hồi giáo cũng tin rằng Muhammad đã gặp các nhà tiên tri trong quá khứ và dẫn họ đến cầu nguyện ở Jerusalem, điều này đã giúp tạo ra bối cảnh trong truyền thống rộng lớn hơn của thuyết độc thần.
Muhammad nói rằng người Hồi giáo nên đến thăm Thánh đường Hồi giáo ở Mecca, nhà thờ Hồi giáo ở Medina và Masjid al-Aqsa, có nghĩa là Nhà thờ Hồi giáo xa nhất, ở Jerusalem. Điều này đã giúp người Hồi giáo tiếp tục coi trọng Jerusalem.
Jerusalem bị người Hồi giáo chiếm vào năm 637, những người đã biến nó thành đền thờ chính của Hồi giáo sau thánh địa Mecca. Dome of the Rock được xây dựng tại thành phố từ năm 688 đến năm 691 trên địa điểm mà người Hồi giáo tin rằng Muhammad đã lên trời.