ببابه وختم عليه الباب عشرة أيام حتى احتاج إلى الماء فلم يقدر عليه إلا بمناولة بعض الجيران من الكوّة، فبلغ الخبر إلى الوزير فأمر بالافراج عنه، وقال: «ما أردنا بالشيخ أبي علي إلا خيرا، أردنا أن يعلم الناس أن في مملكتنا رجلا يعرض عليه القضاء شرقا وغربا وفعل به مثل هذا وهو لا يقبل».

توفي رحمه اللّه يوم الثلاثاء في ذي الحجة سنة عشرين وثلاثمائة، هكذا قال الشيخ أبو اسحاق.

وقال الدارقطني: «توفي في حدود العشر وثلاثمائة» ومال إليه ابن الخطيب، قال الذهبي: «الأول أصح» وجزم به، وجزم به النووي في شرح المهذب.