وحدث عن علي بن عبد الله، بسنده إلى أبي هريرة، قال: سجدنا مع رسول الله صلى الله عليه وسلم في " إذا السماء انشقت ".
قال محمد بن يحيى الذهلي: ارتحلت ثلاث رحلات، وأنفقت على العلم مئة وخمسين ألفا.
قال يحيى بن محمد بن يحيى:
دخلت على أبي في الصيف الصائف وقت القائلة، وهو في بيت كتبه وبين يديه السراج وهو يصنف، فقلت: يا أبه، هذا وقت الصلاة، ودخان هذا السراج بالنهار، فلو نفست عن نفسك؛ فقال لي: يا بني، تقول لي هذا، وأنا مع رسول الله صلى الله عليه وسلم وأصحابه والتابعين حدث خادم محمد بن يحيى، ومحمد بن يحيى يغسل على السرير، قال: خدمت أبا عبد الله ثلاثين سنة وكنت أضع له الماء، فما رأيت ساقه قط، وأنا ملك له.
توفي محمد بن يحيى سنة اثنتين وخمسين ومئتين، وقيل: سنة ست وخمسين، وقيل: سنة سبع وخمسين؛ والصحيح أنه توفي سنة ثمان وخمسين ومئتين؛ وقد بلغ ستا وثمانين سنة.
قال أبو عمرو الخفاف: رأيت محمد بن يحيى الذهلي في النوم، فقلت: يا أبا عبد الله، ما فعل بك ربك؟ قال: غفر لي؛ قلت: فما فعل علمك؟ قال: كتب بماء الذهب ورفع في عليين.