ولما تقادم بنيان الكعبة وصار بنيانها مرتفعاً قدر القامة هدمتها قريش واجتمعوا لبنائها وكان ذلك قبل بعثة النبي (() بخمس سنين. فجزءوا البنيان أجزاء اختص كل جماعة منهم بقسم يبنيه ، ولما بلغ البنيان موضع الحجر الأسود اختصموا فيمن يحمل الحجر الأسود ويضعه في مكانه الذي سوف يستقر فيه حتى كاد يكون بينهم حرباً وقتالاً ثم احتكموا إلي أول داخل عليهم وأول قادم إليهم ، وكان نبينا محمد (() أول داخل عليهم فقالوا. هذا الأمين قبلنا به حكماً. فقال هلم ثوباً فجيء بثوب فوضع (() الحجر الأسود عليه بيده ، ثم قال لتأخذ كل قبيلة بناحية من الثواب فرفعوه حتى إذا بلغوا به موضعه رفعه رسول الله (() بيده ووضعه في مكانه ، ثم أتموا بناء الكعبة لكنهم قصرت بهم النفقة فضيقو بناءها وحسروه عن قواعد إبراهيم عليه السلام من ثلاث جوانب ودخلوا بها من جهة الشمال مقداراً معروفا اليوم بحجر إسماعيل. وظلت الكعبة على حالها الذي بنته عليها قريش حتى غلب عبد الله بن الزبير رضي الله عنهما على مكة فنقض الكعبة ، وبناها علي قواعد إبراهيم عليه السلام وجعل لها بابين بابا شرقياً وبابا غربياً ملصقين بالأرض لقول رسول الله (() لعائشة رضي الله عنها : ( لولا أن قومك حديثوا عهد بكفر لهدمت الكعبة وبنيتها على قواعد إبراهيم ولجعلت لها بابين بابا شرقياً وبابا غربياً ولألصقتهما بالأرض". وظلت على حالها الذي بناها عليه ابن الزبير طيلة إمارته رضي الله عنه حتى قتله الحجاج الثقفي فردوها إلي ما كانت عليه قبل ابن الزبير رضي الله عنهما. كما كانت قد بنتها قريش قبل ذلك وكما كانت عليه في عهد عبد الملك بن مروان.