بويع المأمون على أثر قتل أخيه ولكنه لم يبرح خراسان، وبقيت بغداد تئن تحت كابوس الحكم العسكري، على ما بها من أوصاب الحصار وآثار الحجارة والنار. والذي يظهر للناقد البصير أن بطانة المأمون من الفرس كانت تحاول في طي الكتمان أن تنقل عاصمة الخلافة إلى خراسان؛ ليتم لهم في ذلك التغلب على شئون الدولة. وأول تدبير قام به الفضل بن سهل أن حصل من المأمون على عهد بتولية أخيه الحسن العراق والحجاز واليمن، ووجه طاهرا إلى الرقة لمحاربة أحد الخوارج هناك، وولاه الموصل والجزيرة والشام والمغرب، وأمر هرثمة بالعودة إلى خراسان. وشاع في بغداد أن الفضل بن سهل قد استبد بالأمر وأخذ يبرم الأمور على هواه بعد أن أنزل المأمون قصرا حجبه فيه عن أهل بيته ووجوه قواده فأصبح فيه كالحبيس؛ فاستفزت هذه الشائعة نخوة بني هاشم وأكابر الناس في العراق وأنفوا من ذلك واستخفوا بالحسن بن سهل؛ فاضطرب حبل الأمن ودب دبيب الفتن هنا وهناك، وبرز الكثير من الشطار وأهل الدعارة وعاثوا في بغداد فسادا، وليس لدى السلطان قوة تقدر على توطيد الأمن وإعادة الطمأنينة إلى النفوس. رأى الناس شدة هذا البلاء واستشراء هذا الداء؛ فاجتمع وجوه بغداد وصلحاؤها فقرروا أن يتولى أهل كل محلة توطيد الأمن فيها والضرب على أيدي سفهائها وشطارها، كل ذلك والمأمون في قبضة الفضل بن سهل بخراسان لا يصل إليه من أمر بغداد صغيرة ولا كبيرة. ثم إن الفضل بن سهل ومن لف لفه طلبوا إلى المأمون أن ينقل البيعة إلى العلويين، فاختاروا لولاية عهده عليا الرضا بن موسى الكاظم، وأمر باستعمال اللون الأخضر شعارا لدولته بدل اللون الأسود، الذي هو شعار الهاشميين إلى عهده؛ فأرجف أعداء المأمون بأن اللون الأخضر يرمز إلى لون النار، وإنما اختاره الفضل بن سهل؛ تقربا إلى المجوسية التي كان يدين بها من قبل وهو حديث عهد بالإسلام. بلغ خبر ذلك أهل بغداد؛ فغضب بعضهم ورضي آخرون، واشتد الأمر على رجالات الأسرة العباسية، فاجتمعوا وقر رأيهم على خلع المأمون ومبايعة عمه إبراهيم بن المهدي، وكان ذلك غرة المحرم سنة 202ه.

حصل كل هذا والمأمون في قبضة الفضل بن سهل لا يصل إليه شيء منه، فاتصل الإمام علي الرضا بالمأمون سرا وأخبره بكل الواقع، وبين له أن مخرقة ابن سهل أدت إلى كل هذه الاضطرابات؛ فعزم المأمون على المسير إلى بغداد، فلما وصل إلى سرخس أحكم تدبير الحيلة للتخلص من الفضل، فدس له من قتله وهو في الحمام، وكان ذلك في الثاني من شعبان سنة 202ه، وتظاهر بالحزن عليه، وكتب إلى الحسن أخيه بتعزية حارة وأخبره أنه صيره مكان أخيه، وما كاد يصل مدينة طوس حتى أبلغ بوفاة الإمام علي الرضا؛ فشاع بين الناس أنه مات مسموما، وأن المأمون هو الذي سعى في ذلك. فلما قرب المأمون من بغداد وزال ما كان ينقمه الناس عليه من أمر الفضل، وما كان ينقمه البيت العباسي من نقل الخلافة إلى العلويين؛ اجتمع القواد والأمراء وأعلنوا خلع إبراهيم بن المهدي؛ فاختفى، وكان ذلك ليلة الأربعاء 17 من ذي الحجة سنة 203. وفي يوم السبت 16 من صفر سنة 204 دخل المأمون مدينة السلام ولا تزال الخضرة شعار دولته، ثم بعد بضعة أيام أمر بإعادة السواد شعار الهاشمية الأول، وبوصوله إلى بغداد بعد تخلصه من ربقة ابن سهل أصبح خليفة حقا، وعاد إلى بغداد شيء من نضرتها وروائها.

وقرت قلوب كان جما وجيبها

ونامت عيون كان نزرا هجوعها

واتخذ مقره في الجانب الشرقي، ومنذ ذلك الحين استقر الخلفاء في هذا الجانب، وكان قد سافر إلى الشام ومصر ثم عاد إلى غزو الروم.

وأدركته منيته غازيا في 18 من رجب سنة 218، فدفن في طرسوس، وعهد بالخلافة من بعده إلى أخيه المعتصم، وكتب له في عهده وصايا تعد من أنبل ما يوصي به الحكماء الإخوان والأبناء، وكرر له العناية في أمر الرعية وأمر العامة منهم قبل الخاصة، بأن ينصف مظلومهم، ويضرب على يد ظالمهم، ويسعى جهده لنشر العدل وإفاضة الرفاهية عليهم.