وكان لأبيه دنيا واسعة، وأفضال على العلماء، فلذلك تمكن إبراهيم من السماع، وقدر على الإكثار .
أخبرنا أبو منصور القزاز [قال:] أخبرنا [أحمد بن علي بن ثابت] الخطيب [قال:] أخبرنا [أبو] عبد الله أحمد بن محمد الكاتب [قال:] أخبرنا إبراهيم بن محمد بن يحيى المزكي [قال:] حدثنا محمد بن عبد الرحمن الدغولي [قال:] حدثنا عبد الله بن جعفر بن خاقان السلمي قال:
سألت إبراهيم بن سعيد الجوهري عن حديث لأبي بكر الصديق [رضي الله عنه] فقال لجاريته: أخرجي إلي الجزء الثالث والعشرين من «مسند أبي بكر» . فقلت له: لا يصح لأبي بكر خمسون حديثا، فمن أين ثلاثة وعشرون جزءا؟ فقال: كل حديث لم يكن عندي من مائة وجه فأنا فيه يتيم .
أخبرنا القزاز [قال: أخبرنا] الخطيب [قال:] أخبرنا أبو عمرو الحسن بن عثمان الواعظ [قال:] حدثنا جعفر بن محمد بن أحمد بن الحكم المؤدب، حدثنا جعفر بن محمد الفريابي قال: سمعت إبراهيم الهروي يقول: حج سعيد الجوهري فحمل معه أربع مائة رجل من الزوار سوى حشمه يحج بهم! وكان منهم إسماعيل بن عياش، وهشيم بن بشير، وكنت أنا معهم في إمارة [هارون] الرشيد .
انتقل إبراهيم عن بغداد، فسكن عين زربة مرابطا بها إلى أن توفي في هذه السنة.