شب الأستاذ على قدم أبيه محبا للفروسية والرماية والسباحة، حتى شهر بذلك بين أترابه في القرى المجاورة.
بعد تعلمه القراءة والكتابة بمنزل والده بلغ العاشرة من عمره سنة 1276ه/1859م فانتقل إلى دار حافظ للقرآن لم يكن بالقرية غيره، فقرأ الكتاب المجيد أول مرة واستظهره بعد ذلك في عامين، ويظهر لمن رأى خط الإمام، وهو لطيف من غير أن يكون جميلا، أن معلمه الأول كان على شيء من النظام والمهارة في كتابته.
وفي سنة 1279ه/1862م ذهب إلى الجامع الأحمدي بطنطا ليجود القرآن، وكان هناك أخوه لأمه الشيخ مجاهد الذي يقال إنه كان قارئا مجيدا وصل إلى أن صار شيخا للمقارئ بطنطا.
أتم الشيخ فنون التجويد في نحو سنتين على الوجه الأكمل، ولم تنفر فطرته السليمة من أساليب هذا التعليم في الجامع الأحمدي المشهور بتعليم القرآن وفنون القراءات منذ زمان، وكان رحمه الله من أحفظ الناس للقرآن، وأجودهم في تلاوته نغمة، وأحسنهم ترتيلا.
وفي سنة 1281ه/1864م جلس في دروس العلم في المسجد الأحمدي. قال الأستاذ في الترجمة التي كتبها لنفسه: «وقضيت سنة ونصفا لا أفهم شيئا لرداءة طريقة التعليم، فأدركني اليأس من النجاح، وهربت من الدرس، واختفيت عند أخوالي مدة ثلاثة أشهر، ثم عثر علي أخي وأخذني إلى المسجد الأحمدي، وأراد إكراهي على طلب العلم، فأبيت وقلت له: قد أيقنت ألا نجاح لي في طلب العلم، ولم يبق علي إلا أن أعود إلى بلدي وأشتغل بملاحظة الزراعة كما يشتغل الكثير من أقاربي، وانتهى الجدل بتغلبي عليه، وأخذت ما كان لي من ثياب ومتاع ورجعت إلى محلة نصر على نية ألا أعود إلى طلب العلم، وتزوجت في سنة 1282ه/1865م على هذه النية.»
قال الأستاذ بعد ذلك: «فهذا أول أثر وجدته في نفسي من طريقة التعليم في طنطا، وهي بعينها طريقته في الأزهر، وهو الأثر الذي يجده خمسة وتسعون في المائة ممن لا يساعدهم القدر بصحبة من لا يلتزمون هذا السبيل في التعليم، غير أن الأغلب من الطلبة الذين لا يفهمون، تغشهم أنفسهم، فيظنون أنهم فهموا شيئا، فيستمرون على الطلب، إلى أن يبلغوا سن الرجال، وهم في أحلام الأطفال، ثم يبتلى بهم الناس، وتصاب بهم العامة، فتعظم بهم الرزية؛ لأنهم يزيدون الجاهل جهالة، ويضللون من توجد عنده داعية الاسترشاد، ويؤذون بدعاويهم من يكون على شيء من العلم، ويحولون بينه وبين نفع الناس بعلمه.»
وبعد أن تزوج الفتى الهارب من طلب العلم، قهره والده على الرجوع إلى طنطا، فهرب في الطريق إلى بلدة «كنيسة أورين» من قرى مركز شبراخيت، وغالب سكانها من خئولة أبيه، وصادف في مهربه من داوى نفرته وسهل عليه من طلب العلم ما وجده عسيرا؛ إذ اتصل بالشيخ درويش خضر أحد أخوال أبيه، وهو رجل سبقت له أسفار إلى صحراء ليبيا، ووصل إلى طرابلس الغرب، وجلس إلى السيد محمد المدني والد الشيخ ظافر، وتعلم عنه شيئا من العلم، وأخذ عنه الطريقة الشاذلية، وكان يحفظ بعض كتب الحديث ويجيد حفظ القرآن وفهمه، ثم رجع من أسفاره إلى قريته واشتغل بالزراعة.
ووصف الأستاذ الأثر الذي وجده في نفسه من صحبة الشيخ درويش خضر، فقال: «رأيتني أطير بنفسي في عالم آخر غير العالم الذي كنت أعهده، واتسع لي ما كان ضيقا، وصغر عندي من الدنيا ما كان كبيرا، وعظم عندي من أمر العرفان والنزوع بالنفس إلى جانب القدس ما كان صغيرا، وتفرقت عني هموم النفس، إلا هما واحدا، هو أن أكون كامل المعرفة، كامل أدب النفس.»
وبعد أن قضى الشاب في «كنيسة أورين» خمسة وعشرين يوما، ذهب إلى طنطا في شهر جمادى الآخرة سنة 1282ه/أكتوبر سنة 1865م، مشروح الصدر لطلب العلم، مقبلا عليه ببركة إرشاد الشيخ درويش.
وإذا كانت التربية الحديثة تدعو إلى تهذيب الذوق بفنون الجمال، فإن التربية الصوفية تدعو إلى تلطيف السر بأنواع الرياضة، كالعبادة المشفوعة بالفكرة، والألحان المستخدمة لقوى النفس، هذه التعاليم من شأنها أن تربي الوجدان، وتلطف السر، وتكمل النفس وتزينها، ولا جرم أنه كان صوفي الأخلاق.