وقال يعقوب القارئ:
استمع القرآن إذ يقرؤه ... سهل القارئ زين القرأه
ودخل أعرابي مسجد البصرة، فتفقد أبا حاتم -وكان مختلفا إليه- فأعلم بموته، فقال:
يا باني الدنيا للذاته ... أعظم بذكر الموت من هادم
أما ترى الإخوان قد سارعوا ... بقادم منهم على قادم
ومر من قد كنت تزهى به ... ولست مما ذاق بالسالم
وليس نقص الأرض في جاهل ... كلا، ولكن ذاك في عالم
أما العراقان فقد أقفرا ... بحادث حلهما قاصم
من كان للخطبة يعنى بها ... وللغريب المشكل العاتم
قد ذهب العلم بأعلامه ... والنحو من بعد أبي حاتم
من للدواوين إذا حصلت ... وكتب أملاك بني هاشم
مفتاح قفل ضل مفتاحه ... ولؤلو يبقى بلا ناظم
يا مسجد البصرة لم تبكه ... بواكف من دمعك الساجم
وقرأت في بعض الكتب: توفي أبو حاتم سهل بن محمد بالبصرة سنة خمس وخمسين ومئتين، ودفن بصرة المصلى، وصلى عليه سليمان بن جعفر بن سليمان بن علي بن عبد الله بن العباس بن عبد المطلب، وكان يلي البصرة يومئذ.
قال مروان بن عبد الملك: توفي أبو حاتم في المحرم سنة خمس وخمسين ومئتين.