داعياً إلى الله واستشار شيخه محمد بن إبراهيم رحم الله الجميع استشاره في ذلك فأشار عليه وأخبرنا مرة أنه بينما كان في الحرم رأى رؤية وأذكر أن قوله لنا في ليلة من ليالي رمضان وكان أمامه الطاولة وعليها الأتريك وقال : رأيت النبي - صلى الله عليه وسلم - وأنه قال لي : اذهب إلى هذه الجهة ، فقال بيده هكذا من فوق الأتريك (المصباح) أذكرها كأنها الآن والحمد لله فسار إلى جهة صامطة واشترى بضاعة من جازان ووصل إلى صامطة واستأجر دكاناً وجلس ووجد جماعة من الإخوة طلاب العلم كانوا يدرسون على القاضي في ذلك الوقت فكانوا يأتون عنده ويذهبون عند القاضي ، وبعد ذلك رجع في آخر عام ثمانية وخمسين رجع إلى أهله وجلس عندهم شهراً واحداً ثم اتجه إلى مكة وأخذ كتباً ورجع إلى جازان وإلى صامطة وأسس عرشاً من القش أسسها وكان معه شيء من المادة في ذلك الوقت فكان يعطي بعض الناس يعني بالمقارضة يبيعون ويشرون فيها ويكتسبون الربح وهكذا مكث على هذا واجتمع الطلاب عنده أكثر ما يكون في أول عام الستين وهو العام الذي تفرغ فيه الشيخ حافظ للطلب وكثر الطلاب في ذلك الوقت وكان عنده جماعة من طلاب العلم الأولين كان أيضاً يواسيهم ويجعلهم يدرسون الصغار ، فهكذا سار على هذا النمط وكان يذهب في ليلة الجمعة مساء يوم الخميس يذهب هو وبعض طلابه إلى الأماكن التي فيها شيء من الشركيات أو ما أشبه ذلك ويدعون إلى الله ويبينون للناس وبعد ذلك يسر الله سبحانه وتعالى له وتزوج وبقي ، وكان يذهب بطلابه أوقات الخصب إلى البلاد التي فيها خصب ويتوزع أهل القرية طلاب العلم ويجلسون مدة ثم بعد ذلك يعود بهم إلى صامطة وهكذا وإذا اجتمع له شيء من النقود يشتري طعام ويدخره ثم بعد ذلك في أيام الصيف يجتمع أناس ونساء يطحنون ويخبزون يؤجرهم ويجتمع طلبة العلم ويدرسهم ثم بعد ذلك يرسلهم إلى القرى وهكذا على هذه الصفة فكانت الدعوة لها معارضة في أول الوقت من بعض رؤساء القبائل وحصل