فجمّعوا قواهم، وقرروا الخروج إلى المدائن في شمال شرق الكوفة، لكنهم غيّروا وجهتهم لقوة المدائن ومنعتها واتجهوا إلى مكان آخر قريب من الكوفة، وبدءوا يقطعون الطرق، ويقتلون المسلمين بحجة أن من رضي بالتحكيم فهو كافر مرتد يجب قتله، وقتلوا عبد الله بن خباب بن الأرت، وقتلوا زوجته رغم أنها كانت حاملًا.
فلما زاد فحشهم وكثرت جرائمهم قرر علي بن أبي طالب رضي الله عنه أن يقاتلهم، فخرج لهم بجيش كبير اختلف الرواة في تقدير عدده، ولكنه على أي حال كان يزيد كثيرًا عن جيش الخوارج.
وقبل أن يدخل معهم في قتال أراد رضي الله عنه أن يجنّب المسلمين شر القتال بعد ما حدث في موقعتي الجمل وصفين، وقُتلت الأعداد الكبيرة من المسلمين، فبعث إليهم من يقول لهم: عودوا إلى طاعة أميركم، يحكم بينكم فيقتل مَنْ قتل أحدًا من المسلمين، ويعفو عن من لم يقتل.
فاجتمعوا وقالوا: كلنا قتل إخوانكم، وقد استحللنا دمائهم ودمائكم.
خرج إليهم علي بن أبي طالب رضي الله عنه بنفسه، وبدأ في وعظهم، فقال لهم: ارجعوا إلى ما خرجتم منه، ولا ترتكبوا محارم الله، فإنكم قد سولّت لكم أنفسكم أمرًا تقتلون عليه المسلمين، والله لو قتلتم عليه دجاجة لكان عظيمًا عند الله سبحانه وتعالى، فكيف بدماء المسلمين؟
فلم يكن لهم جواب إلا أن تنادوا بينهم: لا تخاطبوهم، ولا تكلموهم، وتهيأوا للقاء الرب عز وجل، الرواح الرواح إلى الجنة، وكان هذا شعارهم.
رتّب علي بن أبي طالب رضي الله عنه جيشه، وجعلت راية أمان مع الصحابي الجليل أبي أيوب الأنصاري رضي الله عنه، وقال: من ذهب إلى هذه الراية فهو آمن. أملًا في تقليل عدد من يُقتل.
وذكرنا قبل ذلك أن عدد الخوارج في البداية كان اثنا عشر ألفًا، ولما حاورهم عبد الله بن العباس رضي الله عنه تاب منهم أربعة آلاف، ورجعوا معه إلى علي رضي الله عنه، وبعد المحاورات والمناقشات الأخيرة رجع أربعة آلاف آخرون، وبقي أربعة آلاف على رأيهم.