ودخل الحجاج مكة، فكتب إلى عبد الملك بن مروان، إن ابن الزبير زاد في البيت ما ليس منه، وأحدث فيه باباً آخر، فكتب إليه يستأذنه في رد البيت على ما كان عليه في الجاهلية، فكتب إليه عبد الملك بن مروان إن سد بابها الغربي، الذي كان فتح ابن الزبير، واهدم ما كان زاد فيها من الحجر، واكبسها به على ما كانت عليه، فهدم الحجاج منها ستة أذرع وشبراً، مما يلي الحجر، وبناها على أساس قريش الذي كانت استقصرت عليه، وكبسها بما هدم منها، وسد الباب الذي في ظهرها، وترك سائرها لم يحرك منها شيئاً، فكل شيء فيها اليوم بناء ابن الزبير، إلا الجدر الذي في الحجر، فإنه بناء الحجاج وسد الباب الذي في ظهرها، وما تحت عتبة الباب الشرقي الذي يدخل منه اليوم إلى الأرض أربعة أذرع وشبر، كل هذا بناء الحجاج، والدرجة التي في بطنها اليوم والبابان اللذان عليها اليوم هما أيضاً من عمل الحجاج، فلما فرغ الحجاج من هذا كله، وفد بعد ذلك الحارث بن عبد الله بن أبي ربيعة المخزومي على عبد الملك بن مروان، فقال له عبد الملك: ما أظن أبا خبيب يعني ابن الزبير سمع من عائشة ما كان يزعم انه سمع منها في أمر الكعبة، فقال الحارث: أنا سمعته من عائشة، قال: سمعتها تقول ماذا ? قال: سمعتها تقول: قال لي رسول الله) ص (: إن قومك استقصروا في بناء البيت، ولولا حداثة عهد قومك بالكفر، أعدت فيه ما تركوا منه، فإن بدا لقومك أن يبنوه فهلمي لأريك ما تركوا منه، فأراها قريباً من سبعة أذرع، وقال رسول الله) ص (: وجعلت لها بابين موضوعين على الأرض باباً شرقياً يدخل الناس منه، وباباً غربياً يخرج الناس منه، قال عبد الملك بن مروان أنت سمعتها تقول هذا، قال: نعم يا أمير المؤمنين أنا سمعت هذا منها، قال فجعل ينكت منكسا بقضيب في يده ساعة طويلة، ثم قال وددت والله اني تركت ابن الزبير وما تحمل من ذلك، قال ابن جريج: وكان باب الكعبة، الذي عمله ابن الزبير، طوله في السماء أحد عشر