يروي عن سفيان بن عيينة، ويزيد بن زريع، وبشر بن المفضل، ومعتمر بن سليمان، وعامة البصريين. قال ابن حبان: حدثنا عنه الحسن بن سفيان وكان متقنًا عالمًا بأيام الناس وأنسابهم. قال ابن أبي حاتم: سألت أبي عنه؟ فقال: لا أحدث عنه، هو غير قوي، كتبت من "مسنده" أحاديث ثلاثة عن أبي الوليد، فأتيت أبا الوليد وسألته عنها فأنكرها وقال: ما هذه من حديثي! فقلت: كتبتها من كتاب شباب العصفري فعرفه وسكن غضبه. قال ابن أبي حاتم: وانتهى أبو زرعة إلى أحاديث كان أخرجها في فوائده عن شباب العصفري، فلم يقرأ علينا، فضربنا عليه وترك الرواية عنه.
وجده أبو هبيرة خليفة بن خياط العصفري الليثي، سمع حميدًا الطويل، وكان راويًا لعمرو بن شعيب. روى عنه أبو الوليد الطيالسي، مات سنة ستين ومائة.
وأبو إسحاق إبراهيم بن منقذ بن إبراهيم بن عيسى بن يحيى العصفري مولى خولان، من أصحاب عبد الله بن وهب، كانت كتبه احترقت قديمًا وبقيت له منها بقية، وكان يحدث بما بقي له من كتبه، وبنو عمه يزعمون أنهم من ولد عامر بن فهيرة، والأشهر أنه مولى خولان ثم رضا. توفي ليلة الخميس، لتسعٍ خلون من شهر ربيع الآخر سنة تسعٍ وستين ومائتين.
وأبو بكر محمد بن أحمد بن موسى العصفري، من أهل بغداد، سمع