واختص الفاضل بالكامل اختصاصا كليا، وكان أولا يدعى بالأسعد فغيره ولقبه بالفاضل، ولم يزل معهما على أحسن حال إلى أن عاد أسد الدين إلى مصر في المرة الأخرى واستولى على الديار المصرية وتولى الوزارة وقتل شاور وابنه الكامل وطلب الفاضل. وكان في نفسه منه أشياء نقمها عليه في مكاتباته عن شاور، وكان يغلظ القول فيها. ولجأ القاضي إلى القصر مستجيرا ومستخفيا، وطلبه شيركوه من العاضد فشفع فيه فلم يقبل الشفاعة وألح في طلبه، فاتفق أن العاضد أهدى إلى شيركوه هدايا نفيسة وقعت منه موقعا لطيفا، وسأله مع قبولها أمان الفاضل فأمنه، فلما حضر أكرمه شيركوه وأمره بالجلوس في حضرته وقال: اكتب كتابا إلى نور الدين محمود بن زنكي عرفه ما فعل الله بهذا الطاغية الفاسق، يعني شاورا، فكتب ولم يذكره إلا بالخير فغضب أسد الدين وقال: ما لك لا تكتب بما آمرك به؟ فقال: ما يسعني ذلك أيها الوزير لحقوق له علي، فأغلظ له وتهدده إن لم يكتب وحلف ليوقعن به، فوثب حتى صار بين يديه وقال: قد انبسط الآن عذري فيما كنت أكاتب به المولى فإنما أنا آلة أكتب حسبما أومر، فبسط عذره وأعجبه مخرجه من الحجة وأنس به أنسا تاما.

فلما مات أسد الدين شيركوه ترشح أكابر الدولة لمكانه وطمع فيها من هو أهل لذلك، ولم يكن صلاح الدين ممن تطمع نفسه في تلك الرتبة، واتفق أنه اجتمع بالفاضل في دار السلطان وجرى حديث من ترشح للولاية، وبسط صلاح الدين الحديث في ذكرهم ولم يذكر نفسه، فجذبه الفاضل إليه وقال له سرا: هل عندك قوة لأن تلي هذا الأمر؟ فقال صلاح الدين: وأنى لي بذلك وهنا مثل فلان وفلان وعدد الأكابر، فقال له: لا عليك فإني أدبر أمرك فاستعد لذلك. فبينا هما في الحديث، استدعي الفاضل إلى مجلس العاضد واستشير فيمن يولى، ولم يكن شيركوه دفن بعد، لأن من عادتهم أن الذي يتولى يلبس في الجنازة أخضر دون كل من فيها وهي إمارة الولاية، فقال الفاضل: رأي أمير المؤمنين أعلى وهو أعرف، فقال العاضد: ما تقول في فلان فوهى أمره وذكر شيئا صدفه عنه، إلى أن ذكر جماعة كلهم كذلك، فقال للفاضل: فمن ترى أنت؟ قال: ما رأيت في الجماعة أحسن طريقة من يوسف ابن أيوب ابن أخي الميت، فإني اختبرته ورأيته يرجع إلى دين وأمانة، فقال العاضد: