وكان قد رحل معه إلى مالك، فجلس أبو عثمان مع ناس، فتكلموا في ولاية ابن غانم، قال بعضهم: إن ولاية ابن غانم لم تكن من أمير المؤمنين، إنما كانت من المسودة، يعني: الجند، فقال أبو عثمان: امرأته طالق ثلاثا، ومماليكه أحرار، إن كان ولاه إلا أمير المؤمنين، ثم أتى أبو عثمان إلى ابن غانم، فأخبره الخبر، فقال له ابن غانم: يا أبا عثمان، كم صداق زوجتك الذي تزوجتها به؟ قال: مائتا دينار، قال: «وكم شرى مماليكك عليك؟» قال: «مائة دينار» قال: فدعا ابن غانم بكيس فعد لأبي عثمان ثلاث مائة دينار، وقال: خذها يا أبا عثمان، فقد بانت منك زوجتك، وعتق عليك مماليكك ".
قال أبو العرب: وله مناقب كثيرة تركتها كراهة التطويل.
قال أبو العرب: قال لي أحمد بن يزيد، وفرات بن محمد: مات ابن غانم القاضي سنة تسعين ومائة.
قال أبو العرب: وكان لعبد الله بن عمر بن غانم أخ، يقال له: سعيد، قد كتب عنه، وقد روى عن عبد الله بن غانم أخيه.
قال لي أبو بكر محمد بن محمد بن اللباد، حدثني أبو العباس، قال: حدثني عبد الله بن أبي الليث التونسي، قال: كنت مع علي بن زياد التونسي أمشي بالقيروان فلقينا ابن فروخ، فصد عنه علي بن زياد، فقال له ابن فروخ: يا أبا الحسن، لم صددت عني؟ فقال له: أنت المشير بابن غانم؟ فقال: والله ما أشرت به، إنما سئلت عنه، فقلت: ما أعلم إلا خيرا، فقال له علي بن زياد على الإنكار: " وأي خير مع الكبر والكذب؟ والله ما صدق في حسبه، ثم ولي.