أذن علي بالرحيل إلى الكوفة بعد أن دفنوا موتاهم، وسار الموكب نحو الكوفة، على حين تحرك معاوية بجيشه نحو الشام.

لم يدخل جيش علي كله الكوفة كما خرج منها، وإنما انحازت جماعة منه إلى حروراء مخالفين ما في صحيفة التحكيم، وغاضبين عما تم، وقد رتبوا أمورهم، فجعلوا أمر الحرب إلى شبث بن ربعي التميمي، وكان عبدالله بن الكواء يصلي بالقوم، فأرسل علي إليهم الرسل علهم يعودون إلى صوابهم، ويرجعون إلى إخوانهم وربما كانوا يفكرون في ذلك، لذلك كانوا يطالبون علياً بالعودة إلى القتال وترك التحكيم، وعاد بعضهم، ومنهم أمير حربهم شبث بن ربعي التميمي، ثم أرسل علي إليهم عبدالله بن عباس فناقشهم وأطال معهم الجدال، ثم ذهب إليهم علي بنفسه وحاجهم، وعادوا جميعاً فدخلوا الكوفة، وظن أن الأمر قد انتهى، إلا أنهم بقوا على الدوام يعلنون عن آرائهم، ويصيحون صحيتهم لا حكم إلا لله التي يقول عنها أمير المؤمنين: كلمة حق أريد بها باطل، ويناقشون، ويظنون أن علياً سيعود إلى القتال، وإنما ينتظر الناس حتى تستريح، وبعدها ينهض للحرب.

اجتمع الحكماء في دومة الجندل، ولم يتفقا على شيء بل رجعا من غير تفاهم، ولكن ليس ما ذكره المؤرخون بالصحيح، فلم يكن أبو موسى الأشعري ذلك الرجل المغفل البسيط الذي يلعب به، وهو الصحابي الجليل، والوالي لعمر بن الخطاب على الأمصار، وعمر لا يمكن أن يولي عاملاً من النوع الذي ينعت به المؤرخون أبا موسى، كما أن عمرو بن العاص لم يكن ذلك الرجل من الغدر، وقلة الدين، وعدم الوفاء والمروءة، وإنما افترقا من غير اتفاق.

أراد علي بعد فشل التحكيم أن يستعد للنهوض إلى الشام، وطلب من واليه على البصرة عبدالله بن عباس أن يستعد بأهل مصره، فأرسل ابن عباس المقاتلين، إلا أن علياً قد لاحظ أولئك الذين خرجوا من عسكره بالأمس ثم عادوا، ثم بدؤوا يتسللون رتلاً إثر رتل، ويكتبون إلى إخوانهم في البصرة ليوافوهم في النهروان، فسكت عنهم، وأراد أن يتركهم وما خرجوا له، وقال: إن سكتوا تركناهم، وإن تكلموا جادلناهم، وإن أفسدوا قاتلناهم، ورغب أن يسير إلى الشام ويتركهم وشأنهم، إلا أن فسادهم قد بدأ، فقد قتلوا عبدالله بن خباب بن الأرت وذبحوه ذبح النعاج، وقتلوا نسوة معه، فأرسل إليهم رسولاً فقتلوه، عندها اضطر إلى العودة إليهم، والتخلص منهم بصورة من الصور قبل أن يسير ويتركهم وراءه يعيثون في الأرض الفساد.

فسار إليهم، وجادلهم، وطلب منهم تسليم قتلة عبدالله بن خباب بن الارت فقالوا: كلنا قتلة، وتمادوا في الرد، ثم هجموا على جيشه، وبدؤوا بالقتال، فاضطر إلى حربهم وإبادتهم في مكانهم في النهروان، وكان أكثرهم من أهل الكوفة، وجيشه من أهل الكوفة، فقد قتل زيد بن عدي بن حاتم معهم، وأبوه عدي بن حاتم في جيش علي، وأكثر القتلى كانوا بهذه الصورة أو قريبة منها، فغدا جيشه حزيناً كئيباً على قتلى خصومه أو قتلى أهله فتغيرت النفوس، وتبدلت الطباع، وعلى هذه الصورة كانت تلك المعارك التي دارت في ذلك الوقت بين المسلمين: اختلاف في وجهات النظر وفي الرأي فينحاز كل فرد إلى جانب، ويقاتل فمن قتل فقد انتهى، ومن قتل فقد أصيب بمن فقد.