أهلك وجلتهم مثل فلان وفلان، ويطمع فيها غيرهم، فتخرج من ولد أبيك؟ فقال له: نبهتني يا يحيى - قال: وكان يقول: ما كلمت أحدا من الخلفاء كان أعقل من موسى - قال: وقال له: لو أن هذا الأمر لم يعقد لأخيك، أما كان ينبغي أن تعقده له، فكيف بأن تحله عنه، وقد عقده المهدي له! ولكن أرى أن تقر هذا الأمر يا أمير المؤمنين على حاله، فإذا بلغ جعفر، وبلغ الله به، أتيت! بالرشيد فخلع نفسه، وكان أول من يبايعه ويعطيه صفقة يده. قال: فقبل الهادي قوله ورأيه، وأمر بإطلاقه.
وذكر الموصلي عن محمد بن يحيى، قال: عزم الهادي بعد كلام أبي له على خلع الرشيد، وحمله عليه جماعة من مواليه وقواده، أجابه إلى الخلع أو لم يجبه، واشتد غضبه منه، وضيق عليه. وقال يحيى لهارون: استأذنه في الخروج إلى الصيد، فإذا خرجت فاستبعد ودافع الأيام، فرفع هارون رقعة يستأذن فيها، فأذن له، فمضى إلى قصر مقاتل، فأقام به أربعين يوما حتى أنكر الهادي أمره وغمه احتباسه، وجعل يكتب إليه ويصرفه، فتعلل عليه حتى تفاقم الأمر، وأظهر شتمه، وبسط مواليه وقواده ألسنتهم فيه، والفضل بن يحيى إذ ذاك خليفة أبيه، والرشيد بالباب، فكان يكتب إليه بذلك، وانصرف وطال الأمر.
قال الكرماني: فحدثني يزيد مولى يحيى بن خالد، قال: بعثت الخيزران عاتكة - ظئرا كانت لهارون - إلى يحيى، فشقت جيبها بين يديه، وتبكي إليه وتقول له: قالت لك السيدة: الله الله في ابني لا تقتله، ودعه يجيب أخاه إلى ما يسأله ويريده منه، فبقاؤه أحب إلي من الدنيا بجمع ما فيها. قال: فصاح بها، وقال لها: وما أنت وهذا! إن لم يكن ما تقولين فإني وولدي وأهلي سنقتل قبله، فإن اتهمت عليه فلست بمتهم على نفسي ولا عليهم. قال: ولما لم ير الهادي يحيى بن خالد يرجع عما كان عليه لهارون بما بذل له من إكرام وإقطاع وصلة، بعث إليه يتهدده بالقتل إن لم يكف عنه. قال: فلم تزل تلك الحال من الخوف والخطر، وماتت أم يحيى وهو في الخلد ببغداد، لأن هارون كان ينزل الخلد، ويحيى معه، وهو ولي العهد، نازل في داره يلقاه في ليله ونهاره.
وذكر محمد بن القاسم بن الربيع، قال: أخبرني محمد بن عمرو الرومي، قال: حدثني أبي، قال: جلس موسى الهادي بعد ما ملك في أول خلافته جلوسا