ويروي المؤرخون أنه بدأ خطته بذكاء ودهاء، فقال: إنه يتعجب لأولئك المسلمين الذين يؤمنون بمجيء المسيح مرة أخرى إلى هذه الدنيا، ولا يقولون بمجيء سيدنا محمد إلى هذه الدنيا مع أنه أفضل من عيسى، ومن جميع الأنبياء، فلا بد أنه قادم إلى هذه الدنيا مرة أخرى، وأخذ يروج لهذا الكلام بين الجاهلين من غير المتعلمين ممن يسهل تقبلهم للخرافات.

وبعد أن أدرك أنهم قبلوا كلامه؛ وهو ما يصطدم تماماً بالإسلام والتعاليم القرآنية، بدأ في الغلو في شأن علي بعد أن أظهر تجاهه محبة خاصة تفوق العادة على أساس قرابته الخاصة من رسول الله - صلى الله عليه وسلم -، وأخذ ينسب إليه معجزات عجيبة غريبة، محاولاً أن يجعله شخصية تفوق في صفاتها البشر، فأوقع في شباكه طبقة البسطاء والجهلة، فصدقوا الخرافات التي يروجها عبد الله بن سبأ، الذي بدأ يسير قدماً في تنفيذ مخططه تدريجياً، فكون حلقة من المعتقدين بمثل هذه الأفكار في حق علي - رضي الله عنه -، ثم أقنعهم، بل صب في أذهانهم في مرحلة معينة أن الخلافة من بعد النبي والإمامة والحكم كانت أصلاً من حق علي، فلكل نبي وصي، والوصي يحل محل النبي، فيكون رئيس الأمة من بعده، وقد كان علي هو وصي رسول الله - صلى الله عليه وسلم -.

وقال عبد الله بن سبأ: إن أمر الوصاية هذا ورد في التوراة أيضاً، لكن الناس تآمروا بعد وفاة الرسول، وغصبوا علياً هذا الحق، فعينوا أبا بكر خليفة بدلاً من علي، وقام أبو بكر فعين عمر، ثم تآمر عمر أيضاً وعين عثمان خليفة، وكانوا جميعاً بلا استثناء غير أهل لهذا المنصب، وهكذا أخطأ هؤلاء وأخطأ عمالهم أيضاً.