وكان إبراهيم عليه السلام منذ أسكن ذريته في هذا الموضع يزور ابنه إسماعيل. فلما شاهد اجتماع الناس بنى البيت بأمر الله له. ولما شهد قيام البلد الذي كان يرجو قيامه حول البيت واطمأن إلى أن عمله قد آتى ثماره قال: ﴿رب اجعل هذا البلد آمنا واجنبني وبني أن نعبد الأصنام ... ﴾ [21] .

وعامة كتب التاريخ والتفاسير تشير إلى بناء إبراهيم للبيت وتفصيله فلا حاجة إلى إيراد مثل تلك التفصيلات ولكن لا بأس بإيراد رواية الطبري المختصرة فقد ذكر أن إبراهيم عليه السلام لما جاء المرة الثالثة لإسماعيل في مكة كان إسماعيل يصلح نبلا له من وراء زمزم. فقال إبراهيم:"يا إسماعيل إن ربك قد أمرني أن أبني له بيتا. فقال له إسماعيل:"فأطع ربك فيما أمرك". فقال إبراهيم:"قد أمرك أن تعينني". فقال:"إذا أفعل". فقام معه فجعل إبراهيم يبنيه وإسماعيل يناوله الحجر. ويقولان: ﴿ربنا تقبل منا إنك أنت السميع العليم﴾ . فلما ارتفع البنيان وضعف الشيخ عن رفع الحجارة قام على حجر وهو مقام إبراهيم فجعل إسماعيل يناوله الحجر فلما فرغ إبراهيم أمره الله عز وجل أن يؤذن في الناس بالحج [22] .