مما لحق المدينة من وجود الفئة الخارجة على النظام من قتلة عثمان، وقد استجاب بعد رفض إذ أن الأمر يستوجب وجود الأمير لإِعادة النظام، وما أن استلم حتى طلب منه عدد من الصحابة إقامة الحدود على هؤلاء المنحرفين، ولم يكن ذلك ليغيب عنه، وإنما ينتظر استتباب الوضع وقوة الخليفة بأخذ البيعة العامة والقبض على ناصية الأمر، إذ أن الحَلَّ السريع لا يستطيع أن يمارسه ما دام المنحرفون هم الذين يسيطرون على المدينة، وبيدهم القوة، والبيعة لم تأت من بعض الجهات ومنها الشام وبعض الصحابة، والمشكلة أنه في ساعة الفوضى لا يرى المرء الحل السليم إلا من خلال ما استقر ذهنه.
واشتد الصحابة في الطلب، وعلي لا يستطيع أن يفعل شيئاً. وأرسل علي الولاة إلى الأمصار، وإذ بوالي الشام سهل بن حنيف يعود إليه، وعلي الذي عرف بالشدة لم يقبل باللين، ولم يعرف التساهل بالحق، فقرر السير إلى الشام على الرغم من نصائح بعض الناصحين بإبقاء معاوية على الشام وإعطاء طلحة البصرة والزبير الكوفة ريثما تهدأ الأحوال، ولم ير أيضاً هذا عبدالله بن عباس عندما استشاره علي، وحث الناس بالنهوض إلى الشام فرأى توانيا، فلم يرغب بإخبار أحد وإنما نهض وسار مع من نهض، ودفع باللواء إلى ابنه محمد الأكبر بن الحنفية، ووجه عبدالله بن عباس إلى الميمنة، وعمر بن أبي سلمة إلى الميسرة، وأبا ليلى بن عمر بن الجراح إلى المقدمة وهو ابن أخي أبي عبيدة بن الجراح، وولى قُثَم بن العباس على المدينة، وكتب إلى عماله على الأمصار وهم قيس بن سعد والي مصر وأبو موسى الأشعري والي الكوفة، وعثمان بن حنيف والي البصرة بالنهوض إلى قتال أهل الفرقة، ويبدو من عمله هذا أنه بَعِيد كل البعد عن المنحرفين قتلة عثمان إذ لم يُوَلِّ أحداً منهم وفيهم الأشداء وأهل المقدرة.
وبينما هو كذلك إذ سمع بخبر سير من سار من مكة إلى البصرة، فخرج علي إلى الربذة يريد أن يحول دون انطلاقهم إلى البصرة، إلا أنهم قد فاتوه، وكان قد ولّى على المدينة قبل خروجه منها سهل بن حنيف، وبعث قُثَم بن العباس إلى مكة، وكانت أم المؤمنين أم سلمة تريد أن تسير معه وقالت له "لولا أني أعصي الله عز وجل وأنك لا تقبله مني لخرجت معك، وهذا ابني عمر، والله لهو أعز علي من نفسي، يخرج معك يشهد مشاهدك، فخرج معه، وكان على الميسرة، ولم يزل معه، واستعمله على البحرين ثم عزله. ونصحه بعض الناصحين بأن لا يخرج من المدينة فإن خرج منها فلن يعود إليها، وطلب منه أن يرسل من نهض ويمكث هو في دار الهجرة، ولكنه أصر إلا أن يكون على رأس الناهضين. وبقي سهل بن حنيف في المدينة يسيِّر أمورها، ويُطَبِّق شرع الله فيها، ويحكمها لعلي بن أبي طالب. ووصل علي إلى ذي قار ينتظر وصول جند الأمصار.
وأما مصر فقد سار إليها قيس بن سعد بن عبادة، ودخلها من غير جهد وكان قد خرج منها الوالي السابق عبدالله بن سعد بن أبي سرح وتسلمها محمد بن أبي حذيفة إلا أنه قتل، وأخذ قيس البيعة لعلي من عامة أهلها، إلا فريقاً اعتزلوا الناس وأووا إلى (خربتا) يطلبون بثأر عثمان، ولكن لا يقاتلون أحداً، ولا يشقون عصا الطاعة، فأمهلهم قيس ومنهم: مسلمة بن مخلد، ومعاوية بن حديج، وبسر بن أبي أرطأة