ولكن أقواله وتهديداته لم تفدهم شيئا، وقد قاسى منهم ويلات شدادا وضاق بهم ذرعا، وزاد الأمر سوءا ظهور من كان قد اختفى من الخوارج وإعلانهم دعوتهم ضده عليه السلام جهارا، وتكاثرهم يوما بعد يوم، وأخذوا يكيدون له شخصيا ويحاولون الفتك به عليه السلام، ويخذلون الناس عنه ويبثون لهم أن «عليا» ظالم لا يختلف عن «عثمان»، حتى جاءه أحدهم - وهو الخريت بن راشد السلمي - فقال له: والله لا أطعت أمرك، ولا صليت خلفك، فقال له الإمام عليه السلام: ثكلتك أمك، إذا تعصي ربك، وتنكث عهدك، ولا تغر إلا بنفسك، ولم تفعل ذلك؟ قال: لأنك حكمت الناس في كتاب الله، وضعفت عن الحق حين جد الجد، وركنت إلى القوم الذين ظلموا أنفسهم، فأنا عليك راز، وعليهم ناقم، فلم يغضب الإمام عليه السلام من قوله ولم يبطش به، وإنما دعاه إلى المناظرة والمناقشة، فقال له: أمهلني إلى غد، وهرب الرجل إلى قومه - وكان فيهم سيدا مطاعا - فقال لهم ما سمعه من الإمام، وما أجابه به، ثم خرج بهم وأخذ يجمع الجموع لقتال الإمام، فبعث إليهم الإمام بجيش لجب فتك بهم، فتزايدت الإحن والترات، وعظم الكرب، وهرب نفر من قادة العراق إلى الشام مفضلين هدوءه وأموال معاوية وجاهه.
أما معاوية فإنه بعد أن وطد الأمر في الشام عزم على الاستيلاء على مصر، وكان فيها أمير لعلي هو قيس بن سعد بن عبادة الأنصاري، فزور معاوية على لسان قيس كتابا بعث به إلى الكوفة، وفيه يعلن انحرافه عن علي وغضبه لعثمان وانضمامه إلى معاوية، فلما وصل الكتاب إلى الكوفة قال علي عليه السلام للناس: إنها كذبة، وإن الكتاب مدسوس على قيس. ولكن أصحاب الإمام ألحوا عليه في وجوب عزل قيس، فلم يجبهم إلى ذلك، بل كتب إليه يخبره بالخبر ويطلب إليه أن يقاتل كل من لم يبايع عليا في مصر، فرد عليه قيس بأنه لا يفضل سلوك طريق القوة، وأنه يرجو الإمام أن يخلي بينه وبين إقليمه، فلم يشك أهل الكوفة في أن قيسا قد أضمر شيئا، وألحوا على الإمام في وجوب عزله، فعزله، وولى محمد بن أبي بكر الصديق محله.
وكان الفرق بين الواليين شاسعا، فابن أبي بكر شاب حدث لم يجرب الأمور، وقيس رجل كبير عارك الدهر وعركه، ثم إن محمد بن أبي بكر كان ممن شاركوا في التسور على عثمان، وفي مصر جماعة من العثمانية، ولما وصل محمد إلى مصر رحل قيس إلى المدينة، واضطرب أمر مصر، فجهز معاوية جيشا بقيادة عمرو بن العاص واستولى عليها بعد أن قتل محمد بن أبي بكر، فلما علم الإمام عليه السلام بذلك غم غما شديدا.
ومما زاد في الوضع سوءا أن عبد الله بن عباس أمير البصرة أخذ يستبد بالأمر دون الإمام عليه السلام، حتى كتب أبو الأسود الدؤلي كتابا إلى الإمام يقول له فيه: «أما بعد فإن الله جعلك واليا مؤتمنا وراعيا مسئولا، وقد بلوناك فوجدناك عظيم الأمانة ناصحا للرعية، توفر لهم وتظلف نفسك عن دنياهم، فلا تأكل أموالهم ولا ترتشي في أحكامهم، وإن عاملك وابن عمك عبد الله بن عباس قد أكل ما تحت يده بغير علمك، ولا يسعني كتمانك ذلك، فانظر رحمك الله فيما قبلنا من أمرك، واكتب إلي برأيك إن شاء الله.»
فرد عليه السلام على كتاب أبي الأسود برسالة فيها: «أما بعد؛ فقد فهمت كتابك، ومثلك ينصح للإمام والأمة، ويوالي على الحق ويفارق الجور، وقد كتبت إلى صاحبك فيما كتبت إلي فيه من أمر، ولم أعلمه بكتابك إلي فيه، فلا تدع إعلامي ما يكون بحضرتك مما النظر فيه للأمة صلاح، فإنك بذلك محقوق وهو عليك واجب، والسلام.»
وكتب إلى ابن عباس يقول: «أما بعد؛ فقد بلغني عنك أمر إن كنت فعلته فقد أسخطت ربك، وأخربت أمانتك، وعصيت إمامك، وخنت المسلمين، بلغني أنك جردت الأرض، وأكلت ما تحت يديك، فارفع إلي حسابك، واعلم أن حساب الله أشد من حساب الناس ...» فأجابه ابن عباس: «أما بعد فإن الذي بلغك باطل، وأنا لما تحت يدي أضبط وأحفظ، فلا تصدق على الأظناء، رحمك الله، والسلام.»