فإذا اشتغلت بشيء عن عملهم، لم أستحق أن آخذ من مالهم شيئا. وكان يقول أنا بين رجلين: إما حامد وإما ذام. ويدخل علي في اليوم الواحد خلق كثير من الناس، أريد أن أعد لكل واحد منهم جوابا، مخافة أن يختلني عن ديني.
وقال إدريس بن يحيى الخولاني: أبو خزيمة خير مني، اختير فصلح وأنا لم أختر. فلم يزل أبو خزيمة على ولايته إلى أن مات في ذي القعدة سنة أربع وخمسين ومائة. فكانت مدة ولايته عشر سنين.
وذكر أبو عمر الكندي أن أبا خزيمة رفع إلى بعض بني مسكين شيئا من أمر حبسهم. وكان بعض من مضى من القضاة ينظر فيه، فأراد أبو خزيمة رد ذلك فقال له: إذا نحن لم ننتفع بقول من قبلك من القضاة عندك، كذلك لا ينتفع عند من يجئ من بعدك من القضاة بقولك، فأنفذ ذلك.
ومما وقع في ولايته أن عبد الأعلى بن سعيد الجيشاني تزوج امرأة من بني عبد كلال، فقام بعض أوليائها في إنكار ذلك، وترافعوا إلى يزيد بن حاتم المهلبي أمير مصر، فأمر أبا خزيمة أن يفسخ نكاحها، لأنه ليس من أكفائها. فقال أبو خزيمة: ما أحل ما حرم الله
ولا أحرم ما أحل الله. إذا زوجها الولي بإذنها فالنكاح ماض. فعادوا إلى يزيد بن حاتم. ففرق بينهما فقال في ذلك:
أأعلنت الفواحش في البوادي ... وصار الناس أعوان المريب
إذا ما عبتهم عابوا مقالي ... لما في القوم من تلك العيوب
وودوا لو كفرنا فاستوينا ... وصار الناس كالشيء المشوب
وكنا نستطب إذا مرضنا ... فصار هلاكنا بيد الطبيب
قال أبو عمر الكندي: هذه المرأة هي أم شرحبيل بنت عبد الرحمن بن عبد الله بن مرة بن اليسع بن عبد كلال. وكان الذي عقد نكاحها عمها يعفر بن عبد الله. وكان الصداق ألف دينار. وكان التفريق بينهما قبل الدخول.