بينه وبين نائبه علي بن يوسف، وكان يقول إنه استناب بغير رضا منه. وذلك أن علي بن يوسف، كان يخدم الأتراك الذين في خدمة العزيز ابن صلاح الدين، فسألهم أن يتحدثوا له مع القاضي أن يستنيبه، فلم يسعه مخالفتهم، فاستنابه. ثم أشهد على نفسه أنه لم يرض به نائبا عنه، فشق على علي بن يوسف فكثر عليه الشناعات، وانقطع عن التردد إليه، وصار يستبد بكثير من الأمور إلى أن حضر للقاضي عقد امرأة مملوكة، عند سيدها، فشهد عليها أنها أذنت له في تزويجها بعد الإشهاد على سيدها بعتقها فعقده القاضي، فقال له ابن يوسف: قد كانت أذنت لي بعقد نكاحها قبل هذا الإذن، فأجيب بأن العقد لا يصح قبل صحة العتق، فأخرق القاضي بالشهود

الذين شهدوا لابن يوسف بالإذن الأول، فتعصب الأتراك لابن يوسف، ورفعوا الأمر للسلطان، ورموا القاضي بأنه يسلك مع ابن يوسف حظ نفسه بغير حجة فغضب السلطان، وبعث السري إلى القاضي يعتبه على ذلك. فأعاد الجواب أنه نقل له عنه أنه ارتشى في الحكم، وأنه راسل فلانة يراودها عن نفسه. فغضب السلطان من هذا الجواب، فأغرى الأتراك الذين تعصبوا لابن يوسف، حتى حملوه على أن أمر بعزله، واستقرار ابن يوسف في الحكم بالقاهرة، وأن يستمر نائب الصدر بمصر عل حاله، إلى أن يرى السلطان رأيه. فقام جماعة من الأعيان في نصرة الصدر، وبالغوا في الثناء عليه، فأجابهم السلطان بأنه رمى نائبه بأمر إن أثبته عليه فهو مستمر ويعزل نائبه، إلا فقد فسق بما قاله في حق نائبه.

فلما عجز القاضي عن إثبات ما قاله في حق ابن يوسف، صرح العزيز بعزل الصدر، واستقلال ابن يوسف، وذلك في ربيع الأول سنة أربع وتسعين. ثم أعيد الصدر في المحرم سنة خمس وتسعين. ثم صرف في ربيع الآخر سنة خمس وتسعين. وأعيد ابن يوسف، ثم صرف. وأعيد الصدر، فلم يستنب في هذه الولاية أخاه، وأضيفت إليه في هذه الولاية الخطابة والأحباس والحسبة ودار الضرب. ووقع بينه وبين أخيه الضياء عثمان شارح (المهذب) ، اختلاف في العقيدة فهجره، حتى إنه لما مات لم يصل عليه. وامتنع من دفنه بمقبرته. وكان إذا ذكره تلا قوله تعالى: (لا تجد قوما يؤمنون بالله واليوم الآخر يوادون من حاد الله ورسوله) الآية. ثم يقول لم يبق له الحق أخا.