روى عنه الترمذي في الجامع، والبخاري خارج الصحيح، وإسماعيل القاضي. وكان يبرئه مما يرميه به الناس من حب الولدان.
وكان أحمد يقول: ما عرفناه ببدعة. وذكر له ما يقال عنه فأنكر إنكارا شديدا. وقال: سبحان الله! من يقول هذا!.
قال ابن الجوزي: لما استخلف المتوكل وقبض على ابن أبي دواد صير يحيى بن أكثم في مرتبته وخلع عليه خمس خلع. فلم يزل إلى أن كان في صفر سنة سبع وثلاثين ومائتين. فعزل المتوكل يحيى بن أكثم من القضاء وقدم يعقوب بن قوصرة فأخذ من منزله خمسة وسبعين ألف دينار وصولح على أن يؤدي تمام ألف دينار وعشرين ألف دينار. وولي مكانه في قضاء بغداد جعفر بن عبد الواحد الهاشمي.
ويقال: إن سبب عزله قصته المتقدمة مع ابني مسعدة.
قال ابن الجوزي: وكان شاع عنه ذلك، يعني محبة الغلمان ولعله كان يقنع بالنظر حسب ما أسند عن أبي العيناء.
قال: وتولى يحيى بن أكثم ديوان الصدقات فلم يعط الأضراء شيئا، فطالبوه فمطلهم، فاجتمعوا فلما رأوه انصرف من مجلسه بجامع الرصافة سألوه وطالبوه فقال: ليس لكم عند أمير المؤمنين شيء. فقالوا له: إن جئتنا لأمير المؤمنين يزيدنا على هذا الجواب؟.
قال: لا. قالوا لا تفعل يا أبا سعيد! فقال: الحبس الحبس. فأخذوا وحبسوا - جميعا. فلما كان الليل ضجوا فسمع المأمون، فسأل: ما هذه الضجة؟ قالوا: الأضراء