وكان زياد بن أبي سفيان في مدة ولابنه (العراقين) كثير الرعاية للأحنف، فلما مات زياد وتولى مكانه ولده عبيد الله بن زياد تغيرت منزلة الأحنف عند الأمير الجديد، وصار يقدم عليه من لا يساويه ولا بقاربه.

وجمع عبيد الله أعيان العراق وفيهم الأحنف، وتوجه بهم إلى الشام للسلام على معاوية، فلما وصلوا دخل عبيد الله على معاوية وأعلمه بوصول رؤساء العراق، فقال: «أدخلهم إلي أولا على قدر مراتبهم عندك»، فخرج إليهم وأدخلهم على الترتيب كما قال معاوية، فكان آخر من دخل الأحتف ... ا ورآه معاوية، وكان يعرف منزلته ويبالع في إكرامه لتقدمه وسيادته، فقال له: إلي يا أبا بحرا»، فتقدم إليه، فأجلسه معه على مرتبته، وأقبل عليه يسأله عن حاله ويحادثه، وأعرض عن بقية الجماعة.

وأخذ أهل العراق في شكر عبيد الله والثناء عليه، والأحنف ساکت، فقال له معاوية: التي لا تتكلم يا أبا بحر؟!»، فقال: «إن تكلمت خالفتهم»، فقال لهم معاوية: «اشهدوا علي أنني قد عزلت عبيد الله عنكم، فقوموا وانظروا في أمير أوليه عليكم، وترجعون إلي بعد ثلاثة أيام».

وخرجوا من عند معاوية، وكان فيهم جماعة يطلبون الإمارة لأنفسهم، وفيهم من عين الإمارة لغيره، وسعوا في السر مع خواص معاوية أن يفعل الهم ذلك!

واجتمعوا بعد انقضاء ثلاثة أيام - كما قال معاوية - والأحنف معهم، فدخلوا عليه، فأجلسهم على ترتيبهم في المجلس الأول، واخذ الأحنف إليه كما فعل اولا وحادثه ساعة، ثم قال: ما فعلتم فيما انفصلتم عليه؟، فجعل كل واحد بذکر شخص! وطال حديثهم في ذلك، وأفضى إلى منازعة وجدال، والأحنف ساکت، ولم يكن في الأيام الثلاثة تحدث مع احد في شيء، فقال له معاوية: الم لا تتكلم يا أبا بحر؟»، فقال الأحنف: «إن وليت أحدا من أهل بيتك لم تجد من يعدل عبيد الله ولا يسد، مسده، وإن وليت من غيرهم فذلك إلى رأيك».