يعود إلى قريته، وكان ملهما يفهم ويعي كل ما يقرأ أو يسمع من معلومات.

ولم يعمر والده بعد ذلك، إذ انتقل إلى جوار ربه، وهو عائد من حج عام ١٣٦٠ هـ، فتفرغ حافظ للدراسة والتحصيل، وذهب إلى شيخه ولازمه ملازمة دائمة يقرأ عليه، ويستفيد منه.

وكان حافظ في كل دراساته على شيخه، مبرزا ونابغة، فأثمر في العلم بسرعة فائقة، وأجاد قول الشعر والنثر معا، ألف مؤلفات عديدة في كثير من العلوم والفنون الإسلامية، ولقد كان كما قال شيخه: لم يكن له نظير في التحصيل والتأليف، والتعليم والإرادة في وقت قصير (١).

أما أحمد علوش: فيعطي تفصيلا أكثر عن بداية المسيرة التعليمية، من جانب حافظ مع شيخه نقلا عن السيد محمد السنوسي، وكان مما قاله: فكان حافظ يقرأ على الشيخ في الجاضع، بعد صلاة الصبح حتى الضحى، ثم يغدو بغنمه يرعاها، فإذا توسطت الشمس كبد السماء، رجع إلى القرية، واستأنف الدراسة حتى صلاة العصر، فإذا صلى العصر ذهب بغنمه مرة أخرى يرعاها، فإذا آذنت بالمغيب روح بغنمه إلى الزريبة، ثم استأنفت الدراسة إلى صلاة العشاء. . وهكذا دواليك.

ثم قال: حدثني الشيخ القرعاوي قال: يا بني لقد كنت