إبراهيم -صلى الله عليه وسلم- مع جرهم والعمالقة إلى أن انقرضوا، حتى قال فيهم عامر بن الحارث "من الطويل":

كأن لم يكن بين الحجون إلى الصفا    أنيس ولم يسمر بمكة سامر

بلى نحن كنا أهلها فأبادنا    صروف الليالي والجدود العواثر

وخلفهم فيها قريش بعد استيلائهم على الحرم لكثرتهم بعد القلة، وعزتهم بعد الذلة، تأسيسا لما يظهره الله تعالى فيهم من النبوة، فكان أول من جدد بناء الكعبة من قريش بعد إبراهيم -عليه السلام- قصي بن كلاب، وسقفها بخشب الدوم وجريد النخل، قال الأعشى "من الطويل":

حلفت بثوبي راهب الشام والتي    بناها قصي جده وابن جرهم

لئن شب نيران العداوة بيننا    ليرتحلن مني على ظهر شيهم

ثم بنتها قريش بعده ورسول الله -صلى الله عليه وسلم- ابن خمس وعشرين سنة، وشهد بناءها، وكان بابها في الأرض، فقال أبو حذيفة بن المغيرة: يا قوم ارفعوا باب الكعبة حتى لا تدخل إلا بسلم، فإنه لا يدخلها حينئذ إلا من أردتم، فإن جاء أحد ممن تكرهون رميتم به فيسقط، فكان نكالا لمن رآه، ففعلت قريش ذلك.

وسبب بنائها أن الكعبة استهدمت وكانت فوق القامة فأرادوا تعليتها، وكان البحر قد ألقى سفينة لرجل من تجار الروم إلى جدة فأخذوا خشبها، وكان في الكعبة حية يخافها الناس فخرجت فوق جدار الكعبة، فنزل طائر فاختطفها، فقالت قريش: إنا لنرجو أن يكون الله سبحانه قد رضي ما أردنا، فهدموها وبنوها بخشب السفينة، وكانت على بنائها إلى أن حوصر ابن الزبير بالمسجد من الحصين بن نمير وعسكر الشام حين حاربوه سنة أربع وستين في زمن يزيد بن معاوية، فأخذ رجل من أصحابه نارا في ليفة على رأس رمح وكانت الريح عاصفة، فطارت شرارة فتعلقت بأستار الكعبة فأحرقتها، فتصدعت حيطانها واسودت، وتناثرت أحجارها، فلما مات يزيد وانصرف الحصين بن نمير شاور عبد الله بن الزبير في هدمها وبنائها، فأشار به جابر بن عبد الله وعبيد بن عمير، وأتاه عبد الله بن عباس وقال: لا تهدم بيت الله تعالى، فقال ابن الزبير أما ترى الحمام يقع على حيطان البيت فتتناثر حجارته