لم تنته جرهم عن بغيها، وتفرق أولاد عمرو بن عامر عن اليمن، فانخزع بنو حارثة بن عمرو قاطنو تهامة، فسميت خزاعة، لأنهم انخزعوا، وبعث الله عز وجل على جرهم الرعاف والنمل، فأفناهم، فاجتمعت خزاعة ليجلوا من بقي، ورئيسهم يومئذ عمرو بن ربيعة بن حارثة، وأمه فهيرة بنت عامر بن الحارث [بن مضاض] ، فاقتتلوا، فلما أحس عامر بالهزيمة خرج بغزالي الكعبة وحجر الركن ، وجعل يلتمس التوبة، فلم تقبل توبته، فألقى غزالي الكعبة وحجر الركن في زمزم، وخرج من بقي من جرهم إلى أرض الحبشة . فجاءهم سيل فذهب بهم .
وولي البيت عمرو بن ربيعة.
وقيل: بل وليه عمرو بن الحارث الغساني.
فقال عمرو بن الحارث في ذلك:
كأن لم يكن بين الحجون إلى الصفا أنيس ولم يسمر بمكة سامر
بلى نحن كنا أهلها فأزالنا صروف الليالي والجدود العواثر
وقال عمرو أيضا:
يا أيها الناس سيروا إن قصركم أن تصبحوا ذات يوم لا تسيرونا
[حثوا المطي وأرخوا من أزمتها قبل الممات وقضوا ما تقضونا]
كنا أناسا كما كنتم فغيرنا دهر فأنتم كما كنا تكونونا
.
وكان يقول: اعملوا لآخرتكم، وأفرغوا من حوائجكم في الدنيا.
فوليت خزاعة البيت، غير أنه كان في قبائل مضر ثلاث خلال: الإجارة بالحج