عمره وشوا إلى الخليفة عنه بأمر اختلف في حقيقته فجاءه من شتمه وأهانه وختم على داره وشتت عياله ثم أخذ في سفينة إلى واسط فحبس بها في بيت وبقي يغسل ثوبه ويطبخ ودام على ذلك خمس سنين وما دخل فيها حماما قام عليه الركن عبد السلام بن عبد الوهاب الجيلي تجاه الوزير بن القصاب وكان الركن سيء النحلة احرقت كتبه بإشارة بن الجوزي وأعطى مدرسة الجيلي فعمل الركن عليه وقال لابن القصاب الشيعي أين أنت من بن الجوزي فإنه ناصبى ومن أولاد أبي بكر فمكن الركن من الشيخ فجاء وسبه وأنزل معه في سفينة لا غير وعلى الشيخ غلالة بلا سراويل وعلى رأسه تجفيفة وكان ناظر واسط شيعيا فقال له الركن مكنى من عدوى هذا لأرميه في مطمورة فزجره وقال يا زنديق أفعل هذا بمجرد قولك هات خط الخليفة والله لو كان على مذهبى لبذلت نفسي في خدمته فرد الركن إلى بغداد ثم كان السبب في خلاص الشيخ ان ابنه يوسف نشأ واشتغل وعمل وتوصل فشفعت أم الخليفة في الشيخ فأطلق وقد قرأ بواسط وهو بن ثمانين سنة بالعشر على بن الباقلاني وتلا معه ولده يوسف نقل ذلك بن نقطة عن القاضى محمد بن أحمد بن الحسن قال الموفق عبد اللطيف كان بن الجوزي لطيف الصورة حلو الشمائل رخيم النغمة موزون الحركات والنغمات لذيذ المفاكهة يحضر مجلسه مائة ألف أو يزيدون لا يضيع من زمانه شيئا يكتب في اليوم أربعة كراريس وله في كل علم مشاركة ولكنه كان في التفسير من الأعيان وفي الحديث من الحفاظ وفي