أما جيش علي بن أبي طالب رضي الله عنه فلما عُرض عليهم أن يخرج للتحكيم عبد الله بن عباس رفض القوم، وطالبوا بأن يخرج عنهم أبو موسى الأشعري، وذلك لأنه رفض الدخول في القتال من بداية الأمر مع يقينه أن عليًا رضي الله عنه على الاجتهاد، وكان رضي الله عنه قاضيًا للكوفة، واعتزل القتال، ولم يكرهه علي بن أبي طالب رضي الله عنه على الخروج معه، وكان أبو موسي رضي الله عنه رجلًا تقيًا ورعًا فقيهًا عالمًا، وقد أرسله الرسول صلى الله عليه وسلم إلى اليمن مع معاذ بن جبل رضي الله عنهم جميعًا لتعليم الناس أمور الإسلام، وكان مقربًا عند عمر بن الخطاب رضي الله عنه، وولّاه أمر البصرة، وكان هذا أمرًا عظيمًا ذلك؛ لأن البصرة كانت تدير عمليات الفتوح في جنوب ووسط فارس، وظل رضي الله عنه فيها فترة كبيرة، وكان رضي الله عنه قائدًا لمعركة (تستر) الشهيرة التي حوصرت سنة ونصف، فهو رجل فقيه عالم قاض محنّك، غير ما أُشيع في الكتب من سذاجة، وبساطة، وسوء رأي نُسبَ إليه ليلصقوا به ما زعموه من كذب وزور في قضية التحكيم، وهو من هذا كله براء.
وتولّى رضي الله عنه في عهد عثمان بن عفان رضي الله عنه ولاية الكوفة فترة طويلة، وكذلك في عهد علي بن أبي طالب رضي الله عنه.
ذهب إليه القوم في قريته التي كان معتزلًا فيه وقالوا له: إن الناس قد اصطلحوا.
فقال: الحمد لله.
فقالوا له: وقد جُعلت حكمًا.
فقال: إنا لله وإنا إليه راجعون.
وذلك لأن هذا الأمر أمر صعب، وشاق عسير أن يحكم بين طائفتين اقتتلا هذا القتال الشديد فترة كبيرة، ووافق رضي الله عنه على الذهاب معهم، حتى يتم التحكيم في هذه القضية الشائكة.
والتقى أبو موسى الأشعري، وعمرو بن العاص رضي الله عنهما في مكان (صفين)، وبدآ يفكران في كيفية إيجاد حلٍ لهذه المعضلة التي ألمّت بالمسلمين، فاتفقا ابتداءً على كتابة كتابٍ مبدئي يضع أسس التحكيم، ولن يكون هو الكتاب النهائي.