وكانوا يضعون أزرهم على عواتقهم ويحملون الحجارة، ففعل ذلك رسول الله صلى الله عليه وسلم, فلبط به ونودي: عورتك، فكان ذلك أول ما نودي، فقال له أبو طالب: يابن أخي, اجعل إزارك على رأسك، فقال: ما أصابني ما أصابني إلا في تعري، فما رئيت لرسول الله صلى الله عليه وسلم عورة بعد ذلك، فلما أجمعوا على هدمها، قال بعضهم: لا تدخلوا في بنائها من كسبكم إلا طيبا ما لم تقطعوا فيه رحما ولم تظلموا فيه أحدا، فبدأ الوليد بن المغيرة بهدمها, وأخذ المعول، ثم قام عليها يطرح الحجارة, وهو يقول: اللهم لم ترع إنما نريد الخير، فهدم، وهدمت معه قريش، ثم أخذوا في بنائها وميزوا البيت، وأقرعوا عليه, فوقع لعبد مناف وزهرة ما بين الركن الأسود إلى ركن الحجر وجه البيت، ووقع لبني أسد بن عبد العزى وبني عبد الدار بن قصي ما بين ركن الحجر إلى ركن الحجر الآخر، ووقع لتيم ومخزوم ما بين ركن الحجر إلى الركن اليماني، ووقع لسهم وجمح وعدي وعامر بن لؤي ما بين الركن اليماني إلى الركن الأسود، فبنوا، فلما انتهوا إلى حيث يوضع الركن من البيت، قالت كل قبيلة: نحن أحق بوضعه، واختلفوا حتى خافوا القتال.

ثم جعلوا بينهم أول من يدخل من باب بني شيبة فيكون هو الذي يضعه، وقالوا: رضينا وسلمنا, فكان رسول الله صلى الله عليه وسلم أول من دخل من باب بني شيبة، فلما رأوه, قالوا: هذا الأمين، قد رضينا بما قضى بيننا، ثم أخبروه الخبر, فوضع رسول الله صلى الله عليه وسلم رداءه, وبسطه في الأرض، ثم وضع الركن فيه، ثم قال: ليأت من كل ربع من أرباع قريش رجل، فكان في ربع بني عبد مناف عتبة بن ربيعة، وكان في الربع الثاني أبو زمعة، وكان في الربع الثالث أبو حذيفة بن المغيرة، وكان في الربع الرابع قيس بن عدي.