عليا كان خليفة له على النساء والذرية ولهذا لما آذاه المنافقون فقالوا تركه على النساء والذرية لحق رسول الله صلى الله عليه وسلم فشكا إليه ذلك فقال ألا ترضى أن تكون مني بمنزلة هارون من موسى غير أنه لا نبي بعدي وقد خرج معه عبد الله بن أبي رأس النفاق ثم رجع من اثناء الطريق
وتخلف عن رسول الله صلى الله عليه وسلم النساء والذرية ومن عذره الله من الرجال ممن لا يجد ظهرا يركبه أو نفقة تكفيه فمنهم البكاؤون وكانوا سبعة سالم بن عمير وعلبة بن زيد وأبو ليلى عبدالرحمن بن كعب وعمرو بن الحمام وعبدالله بن المغفل المزني وهرمي بن عبدالله وعرباض بن سارية الفزاري رضي الله عنهم
وتخلف منافقون كفرا وعنادا وكانوا نحو الثمانين رجلا
وتخلف عصاة مثل مرارة بن الربيع وكعب بن مالك وهلال بن أمية ثم تاب الله عليهم بعد قدومه صلى الله عليه وسلم بخمسين ليلة
فسار صلى الله عليه وسلم فمر في طريقه بالحجر فأمرهم أن لا يدخلوا عليهم بيوتهم إلا أن يكونوا بكاين وأن لا يشربوا إلا من بئر الناقة وما كانوا عجنوا به من غيره فليطعموه للإبل وجازها صلى الله عليه وسلم مقنعا