وقد ذكر ابن كثير وغيره أن أول من بناه يعقوب عليه السلام،ثم جُدِّد بناؤه في زمن سليمان عليه السلام،وقد بناه سليمان على قاعدة سداسية الشكل،ويقال إن هذا هو أصل اتخاذ اليهود للنجمة السداسية شعاراً لهم.
والمعروف تاريخياً أن ذلك المعبد قد دمر مرتين،المرة الأولى على يد الملك البابلي "بختنصر" عام (587 قبل الميلاد)،والمرة الثانية عام (70ميلادي) على يد الإمبراطور الروماني "طيطس"،حيث دمره تدميراً كاملاً،ولم يبق منه إلا جزء من السور في الجهة الجنوبية الغربية لساحة المعبد،وقد جاء ذكر التدميرين (الأول والثاني) في القرآن الكريم في أول سورة الإسراء.
وظل مكان الهيكل فضاءً خالياً من أي بناء بقية عهد الرومان النصاري.
وقد حدث الإسراء والمعراج بالنبي صلى -الله عليه وسلم- في عهد الحاكم الروماني "هرقل" عام (621ميلادي) وكان المكان ما زال خالياً من أي بناء،إلا أنه محاط بسور،وهو الذي رُبط فيه (البراق) في ليلة الإسراء والمعراج،وهو نفسه السور الذي تسميه اليهود اليوم بـ (حائط المبكى)،وفيه أبواب داخله ساحات واسعة هي المقصودة بالمسجد الأقصى في قوله -تعالى-: "سبحان الذي أسرى بعبده ليلاً من المسجد الحرام إلى المسجد الأقصى الذي باركنا حوله لنريه من آياتنا إنه هو السميع البصير" [الإسراء:1]. وقد ظل المكان معروفاً مقدساً في داخله الصخرة رغم زوال الآثار.
ثم جاء الفتح الإسلامي لبيت المقدس صلحاً في عهد عمر -رضي الله عنه- سنة (16هـ/ 637)،وطلب عمر -رضي الله عنه- من أحد بطريرك القدس أن يدله على مسجد داود (يعني المسجد الأقصى)،فانطلق به حتى انتهى إلى مكان الباب،وقد انحدر الزبل على درج الباب،فتجشم عمر -رضي الله عنه- حتى دخل ونظر،فقال: الله أكبر،هذا والذي نفسي بيده مسجد داود الذي أخبرنا رسول الله - صلى الله عليه وسلم - أنه أسري به إليه،ثم أخذ عمر -رضي الله عنه- والمسلمون يكنسون الزبل عن الصخرة حتى ظهرت كلها... ففي مسند الأمام أحمد (261) بسند حسن عَنْ عُبَيْدِ بْنِ آدَمَ،وَأَبِي مَرْيَمَ،وَأَبِي شُعَيْبٍ،أَنَّ عُمَرَ بْنَ الْخَطَّابِ كَانَ بِالْجَابِيَةِ،فَذَكَرَ فَتْحَ بَيْتِ الْمَقْدِسِ،قَالَ:قَالَ أَبُو سَلَمَةَ:فَحَدَّثَنِي أَبُو سِنَانٍ،عَنْ عُبَيْدِ بْنِ