وابنيه الوليد وسليمان، ثم دخل بعضها أيضاً في زيادة أبي جعفر المنصور في المسجد، ثم كانت خلفاء بني العباس ينزلونها بعد ذلك إذا حجوا، أبو العباس وأبو جعفر والمهدي وموسى الهادي وهارون الرشيد، إلى أن ابتاع هارون الرشيد دار الامارة من بني خلف الخزاعيين وبناها، فكان بعد ذلك ينزلها فلم تزل على ذلك حتى خربت وتهدمت، قال أبو محمد الخزاعي: ورأيتها على أحوال شتى، كانت مقاصيرها التي للنساء تكرى من الغرباء والمجاورين، ويكون في مقصورة الرجال دواب عمال مكة، ثم كانت بعد ينزلها عبيد العمال بمكة من السودان وغيرهم، فيعبثون فيها ويوذون جيرانها، ثم كانت تلقى فيها القمايم ويتوضأ فيها الحاج، وصارت ضرراً على المسجد الحرام، فلما كان في سنة أحد وثمانين ومائتين، استعمل على بريد مكة رجل من أهلها من جيران المسجد الحرام له علم ومعرفة وحسبة وفطنة بمصالح المسجد الحرام والبلد، فكتب في ذلك إلى الوزير عبيد الله بن سليمان ابن وهب، يذكر ان دار الندوة قد عظم خرابها وتهدمت وكثر ما يلقى فيها من القمايم حتى صارت ضرراً على المسجد الحرام وجيرانه، وإذا جاء المطر سال الماء منها حتى يدخل المسجد الحرام من بابها للشارع في بطن المسجد الحرام، وانها لو اخرج ما فيها من القمايم وهدمت وعدلت وبنيت مسجداً يوصل بالمسجد الحرام، أو جعلت رحبة له يصلي الناس فيها ويتسع فيها الحاج، كانت مكرمة لم يتهيأ لأحد من الخلفاء بعد المهدي، وشرفاً وأجراً باقياً مع الأبد، وذكر ان في المسجد خراباً كثيراً، وإن سقفه يكف إذا جاء المطر، وإن وادي مكة قد انكبس بالتراب، حتى صار السيل إذا جاء يدخل المسجد، وشرح ذلك للأمير بمكة، عج بن حاج مولى أمير المؤمنين والقاضي بها محمد بن أحمد بن عبد الله المقدمي، وسألهما أن يكتبا بمثل ذلك، فرغبا في الأجر وجميل الذكر وكتبا إلى الوزير بمثل ذلك، فلما وصلت الكتب، عرضت على أمير المؤمنين أبي العباس المعتضد بالله أبي ابن أحمد