ولما بلغ أحمد إلى الرقة وافاه خبر موت المأمون بطوس فرجع إلى بغداد وكتب المأمون وصية في تحريص الخليفة بعده على حمل الناس على خلق القرآن ولما استقر المعتصم في الخلافة سجن أحمد وضربه على يده وكان مكثه في السجن منذ أخذ وحمل إلى أن خلي عنه ثمانية وعشرون شهرا ومرض سبعة أيام فلما كانت ليلة الجمعة ثقل وقبض صدر النهار سنة إحدى وأربعين ومائتين قال ابن خلكان ودعى إلى القول بخلق القرآن فلم يجب فضرب وحبس وهو مقر على الامتناع وكان ضربه في العشر الأخير من شهر رمضان سنة عشرين ومائتين
وكان حسن الوجه ربعة يخضب بالحناء خضبا ليس بالقاني في لحيته شعيرات سود
أخذ عنه الحديث جماعة من الأماثل منهم محمد بن اسماعيل البخاري ومسلم بن الحجاج النيسابوري ولم يكن في آخر عصره مثله في العلم والورع توفي ضحوة نهار الجمعة اثنتي عشرة ليلة خلت من شهر ربيع الأول وقيل بل لثلاث عشرة ليلة بقين منه وقيل من ربيع الآخر ببغداد ودفن بمقبرة باب حرب وهو منسوب إلى حرب بن عبد الله أحد أصحاب أبي جعفر المنصور وإلى حرب هذا تنسب المحلة المعروفة بالحربية وقبر أحمد مشهور بها يزار وحرز من حضر جنازته من الرجال فكانوا ثمانمائة ألف ومن النساء ستين ألف وقيل أنه أسلم يوم مات عشرون ألفا من النصارى واليهود والمجوس انتهى قال ابن أبي حاتم سمعت أبا زرعة يقول بلغني أن المتوكل أمر أن يمسح الموضع الذي وقف الناس فيه للصلاة على الإمام أحمد فبلغ مقام ألفي ألف وخمس مائة ألف قال العلامة ابن القيم رحمه الله تعالى في إعلام الموقعين وكان بها أي ببغداد إمام أهل السنة على الإطلاق أحمد بن حنبل الذي ملأ الأرض علما وحديثا وسنة حتى أن أئمة علم الحديث والسنة بعده هم أتباعه إلى يوم القيامة
وكان رضي الله عنه شديد الكراهة لتصنيف الكتب وكان يحب تجريد الحديث ويكره أن يكتب كلامه ويشتد عليه جدا فعلم الله حسن نيته