كنت تعاقبني فاجعل عقوبتي في الدنيا؛ وإن أحاط ذلك بسمعي وبصري، ومالي وولدي، حتى تبلغ رضاك، ولا تجعل عقوبتي في الآخرة.

قال: وحدثني أحمد بن الحسن بن حرب، قال: رأيت يحيى وقد قابل البيت، وتعلق بأستار الكعبة، وهو يقول: اللهم إن كان رضاك في أن تسلبني نعمتك عندي فاسلبني، اللهم إن كان رضاك في أن تسلبني أهلي وولدي فاسلبني؛ اللهم إلا الفضل. قال: ثم ولى ليمضي؛ فلما قرب من باب المسجد كر مسرعا، ففعل مثل ذلك، وجعل يقول: اللهم إنه سمج بمثلي أن يرغب إليك ثم يستثني عليك ... اللهم والفضل. قال: فلما انصرفوا من الحج نزلوا الأنبار، ونزل الرشيد بالعمر ومعه وليا العهد؛ الأمين والمأمون، ونزل الفضل مع الأمين، وجعفر مع المأمون، ويحيى في منزل خالد بن عيسى كاتبه، ومحمد بن يحيى في منزل ابن نوح صاحب الطراز، ونزل محمد بن خالد مع المأمون بالعمر مع الرشيد، قال: وخلا الرشيد بالفضل ليلا، ثم خلع عليه وقلده، وأمره أن ينصرف مع محمد الأمين، ودعا بموسى بن يحيى فرضي عنه وكان غضب عليه بالحيرة في بدأته، لأن علي بن عيسى بن ماهان اتهمه عند الرشيد في أمر خراسان وأعلمه طاعة أهلها له، ومحبتهم إياه، وأنه يكاتبهم ويعمل على الانسلال إليهم والوثوب به معهم؛ فوقر ذلك في نفس الرشيد عليه وأوحشه منه؛ وكان موسى أحد الفرسان الشجعان، فلما قدح علي بن عيسى فيه أسرع ذلك في الرشيد، وعمل فيها القليل منه، تم ركب موسى دين، واختفى من غرمائه، فتوهم الرشيد أنه صار إلى خراسان؛ كما قيل له، فلما صار إلى الحيرة في هذه الحجة وافاه موسى من بغداد، فحبسه الرشيد عند العباس بن موسى بالكوفة؛ فكان ذلك أول ثلمة ثلموا بها؛ فركبت أم الفضل بن يحيى في أمره، ولم يكن يردها في شيء، فقال: يضمنه أبوه فقد رفع إلي فيه، فضمنه يحيى ودفعه إليه، ثم رضي عنه، وخلع عليه، وكان الرشيد قد عتب على الفضل بن يحيى، وتقل مكانه عليه لتركه الشرب معه؛ فكان الفضل يقول: لو علمت أن الماء ينقص من مروءتي ما شربته؛ وكان مشغوفا بالسماع. قال: وكان جعفر يدخل في منادمة الرشيد؛ حتى كان أبوه ينهاه عن منادمته، ويأمره بترك الأنس به، فيترك أمر أبيه، ويدخل معه فيما يدعوه إليه.