وقال علي بن معبد بن شداد: شهد الخصيب بن ناصح عند إبراهيم بن الجراح، فأتاني صاحب مسائله يسألني عن الخصيب فقلت: لا أعلم فيه شيئا أعيبه عليه، إلا أنه شهد إبراهيم بن الجراح.
ولم يزل إبراهيم بن الجراح على القضاء حتى توجه عبد الله بن طاهر بن الحسين من قبل المأمون إلى مصر، ليحارب عبيد الله بن السري، فحكى يحيى ابن عثمان بن صالح قال: قال عبيد الله بن السري لابن عبد الحكم لما حاربه عبد الله بن طاهر، ثم وقع بينهما الصالح: اكتب كتاب أمان في أمر ابن طاهر. فقال له عبد الله بن عبد الحكم: أصلح الله الأمير، لست من أصحاب الوثائق. ولكن القاضي له علم بذلك، فأمر عبيد الله بن السرى، القاضي إبراهيم بن الجراح فكتب له الكتاب، فكان سبب سقوطه عند ابن طاهر.
وقال يونس بن عبد الأعلى: كان إبراهيم بن الجراح من أدهى الناس، فكتب الكتاب لابن السرى، فنسى أن أخذ لنفسه أمانا، مع شدة استظهاره لابن السرى، وجميع جنده، فحقدها عليه ابن طاهر وفعل به ما فعل.
وقال خلف بن ربيعة: لما طال على ابن السرى الحصار، طلب الصلح وشرط لنفسه شروطا، فأجابه عبد الله بن طاهر إليها. وكتب له بذلك كتابا فيه شروط فنظر فيها القاضي، فقال: ليست هذه الشروط بشيء، ولكن يجب أن تكتب كذا وكذا. فقال له: اكتب لي نسخة بما قلت، فكتب له نسخة بخطه وبعث بها إلى ابن طاهر فأجابه. ثم لما استقرت قدمه بمصر عزله، وأسقط مرتبته وأمر بكشفه ومحاسبته.
وقال علي بن أبي جعفر الطحاوي حدثني أبي قال: كان إبراهيم بن الجراح راكبا في موكب فيه جمع كثير من الناس، فبلغهم أنه عزل، فتفرقوا أولا فأولا إلي أن لم يبق معه أحد. فقال لغلامه ما بال الناس؟ قال: بلغهم أنك عزلت فقال: سبحان الله! ما كنا إلا في موكب ريح.
ولما صرف عن القضاء قال: سمعت أبا يوسف يقول: سمعت أبا حنيفة في جنازة رجل، ينشد هذه الأبيات عند القبر:
لما رأيت المشيب قد نزلا ... وبان عني الشباب فارتحلا