قال في رسالة له لأحد المقربين منه: (وقد ابتلانا الله برعي الحمير الجهال، فإنا لم نزل نتلطف في هدايتهم، ومسايرة أحوالهم، إلى أن يختم الله لنا بالحسنى، والخروج من بين أظهرهم على أحمد حال) (1)

وقال له بلكين بن زيري حين أراد أن يستخلفه على أرض المغرب: (يا مولانا: أنت وآباؤك الأئمة من ولد رسول الله صلى الله عليه وسلم ما صفا لكم المغرب، فكيف يصفوا لي وأنا صنهاجي بربري؟ قتلتني يا مولاي بلا سيف ولا رمح) (2) .

ومن هنا ابتدأ تاريخ النهاية، ورفع الله المحنة عن العلماء، وانقلبت الكفة، وبدأ الوضع ينقلب على الشيعة، حتى بدأ العامة وبعض الناس بالتطاول عليهم، والتعرض لهم.

كما وقع للقاضي النعمان، وهو من أشهر علماء الفاطمية، وكتابهم. وقد بلغه من الأذى ما جعله يكتب للمعز رسالة يشكو فيها معاناته وما يلقاه من السب والشتم، والمضايقة.

فأجابه بجواب يظهر فيه ضعف الخليفة وعدم قدرته على الدفاع عن أتباعه المخلصين.

فكان مما قال له: (هذه الألسنة الحداد، هي متاجر النساء والسفل والأوغاد، تذهب بالإعراض عنها، وتزول بالاطراح لها، وتزيد وتعظم ما علم السفل بنَفاقها، فلا تصغ إلى سماعها، ولا تلق بالا لها...ومع هذا فللملك سياسة يساس بها، ولنا حدود لن نتعداها، والله يظهر أمره على رغم الراغمين، ولو كره المشركون) (3)

فبدأ المعز يبحث له عن مكان آخر ينشر فيه مذهبه، وتنتعش فيه دولته، وأيس أشد اليأس من أن يستقر له المغرب، أو أن يتحول المغاربة عن مذهبهم.

فعزم على الخروج إلى مصر، وفكر فيمن يخلفه على المغرب، ففكر أولا في جعفر بن يحيى، الذي اشترط شروطا أغضبت المعز، فصرف النظر عنه إلى بلكين بن زيري الذي أظهر الخضوع والوفاء.