قبائل الأعراب، ودعاهم إلى رأيه؛ وزعم لهم: أن من بالسواد من القرامطة يطابقونهم على أمره إن استجابوا له، فلم يستجيبوا له، وكانت جماعة من كلب تخفر الطريق على البر بالسماوة فيما بين الكوفة ودمشق على طريق تدمر وغيرها، وتحمل الرسل وأمتعة التجار على إبلها، فأرسل زكرويه أولاده إليهم، فبايعوهم وخالطوهم، وانتموا إلى علي بن أبي طالب وإلى محمد بن إسماعيل بن جعفر، وذكروا أنهم خائفون من السلطان، وأنهم ملجئون إليهم، فقبلوهم على ذلك، ثم دبوا فيهم بالدعاء إلى رأي القرامطة؛ فلم يقبل ذلك أحد منهم - أعني من الكلبيين - إلا الفخذ المعروفة ببني العليص بن ضمضم بن عدي بن جناب ومواليهم خاصة، فبايعوا في آخر سنة تسع وثمانين ومئتين بناحية السماوة ابن زكرويه المسمى بيحيى والمكنى أبا القاسم، ولقبوه الشيخ، على أمر احتاله فيهم، ولقب به نفسه، وزعم لهم: أنه أبو عبد الله بن محمد بن إسماعيل بن جعفر بن محمد.
وقد قيل: إنه زعم أنه محمد بن عبد الله بن يحيى، وقيل: إنه زعم أنه محمد بن عبد الله بن محمد بن إسماعيل بن جعفر بن محمد بن علي بن الحسين بن علي بن أبي طالب، وقيل: إنه لم يكن لمحمد بن إسماعيل ابن يسمى عبد الله، وزعم لهم أن أباه المعروف بأبي محمود داعية له، وأن له بالسواد والمشرق والمغرب مئة ألف تابع، وأن ناقته التي يركبها مأمورة، وأنهم إذا اتبعوها في مسيرها ظفروا، وتكهن لهم وأظهر عضدا له ناقصة، وذكر أنها آية، وانحازت إليه جماعة من بني الأصبغ وأخلصوا له وتسموا بالفاطميين، ودانوا بدينه، فقصدهم سبك الديلمي مولى المعتضد بالله بناحية الرصافة في غربي الفرات من ديار مضر، فاغتروه وقتلوه، وحرقوا مسجد الرصافة، واعترضوا كل قرية اجتازوا بها حتى أصعدوا إلى أعمال الشام التي كان هارون بن خمارويه قوطع عليها، وأسند أمرها هارون إلى طغج بن جف، فأناخ عليها، وهزم كل عسكر لقيه لطغج حتى حصره في مدينة دمشق، فأنفذ المصريون إليه بدرا الكبير غلام ابن طولون، فاجتمع مع طغج على محاربته، فواقعهم قريبا من دمشق، فقتل الله عدو الله يحيى بن زكرويه.
وكان سبب قتله - فيما ذكر -: أن بعض البرابرة زرقه بمزراق واتبعه نفاط،