ففي الكوفة ظهرت جماعة من أهلها اعتزلوا الناس وسموا أنفسهم بالتوَّابين أو البكَّائين. كما ظهرت طبقة من العباد غلب عليهم جانب التشدد في العبادة والبعد عن المشاركة في مجريات الدولة، مع علمهم وفضلهم والتزامهم بآداب الشريعة، واشتغالهم بالكتاب والسنة تعلماً وتعليماً، بالإضافة إلى صدعهم بالحق وتصديهم لأهل الأهواء. كما ظهر فيهم الخوف الشديد من الله تعالى، والإغماء والصقع عند سماع القرآن الكريم مما استدعى الإنكار عليهم من بعض الصحابة وكبار التابعين كأسماء بنت أبي بكر وعبد الله بن الزبير ومحمد بن سيرين ونحوهم رضي الله عنهم، وبسببهم شاع لقب العبَّاد والزُهَّاد والقُرَّاء في تلك الفترة.
وكدأب أي انحراف يبدأ صغيراً، ثم مايلبث إلا أن يتسع مع مرور الأيام فقد تطور مفهوم الزهد في الكوفة والبصرة في القرن الثاني للهجرة على أيدي كبار الزهاد أمثال: إبراهيم بن ادهم، مالك بن دينار، وبشر الحافي، ورابعة العدوية، وعبد الواحد بن زيد، إلى مفهوم لم يكن موجوداً عند الزهاد السابقين من تعذيب للنفس بترك الطعام، وتحريم تناول اللحوم، والسياحة في البراري والصحاري، وترك الزواج. يقول مالك بن دينار: ((لا يبلغ الرجل منزلة الصديقين حتى يترك زوجته كأنها أرملة، ويأوي إلى مزابل الكلاب)). وذلك دون سند من قدوة سابقة أو نص كتاب أو سنة، ولكن مما يجدر التنبيه عليه أنه قد نُسب إلى هؤلاء الزهاد من الأقوال المرذولة والشطحات المستنكرة ما لم يثبت عنهم بشكل قاطع كما يذكر شيخ الإسلام ابن تيمية.
وفي الكوفة أخذ معضد بن يزيد العجلي هو وقبيله يروِّضون أنفسهم على هجر النوم وإقامة الصلاة، حتى سلك سبيلهم مجموعة من زهاد الكوفة، فأخذوا يخرجون إلى الجبال للانقطاع للعبادة، على الرغم من إنكار ابن مسعود عليهم في السابق، وظهرت من بعضهم مثل رابعة العدوية أقوال مستنكرة في الحب والعشق الإلهي للتعبير عن المحبة بين العبد وربه، وظهرت تبعاً لذلك مفاهيم خاطئة حول العبادة من كونها لا طمعاً في الجنة ولا خوفاً من النار مخالفةً لقول الله تعالى: ((يدعوننا رغباً ورهباً)).
يلخص شيخ الإسلام ابن تيمية هذا التطور في تلك المرحلة بقوله: ((في أواخر عصر التابعين حدث ثلاثة أشياء: الرأي، والكلام، والتصوف، فكان جمهور الرأي في الكوفة، وكان جمهور الكلام والتصوف في البصرة، فإنه بعد موت الحسن وابن سيرين ظهر عمرو بن عبيد وواصل بن عطاء، وظهر أحمد بن علي الهجيمي ت 200، تلميذ عبد الواحد بن زيد تلميذ الحسن البصري، وكان له كلام في القدر، وبنى دويرة للصوفية ـ وهي أول مابني في الإسلام ـ أي داراً بالبصرة غير المساجد للالتقاء على الذكر والسماع ـ صار لهم حال من السماع والصوت ـ إشارة إلى الغناء. وكان أهل المدينة أقرب من هؤلاء في القول والعمل، وأما الشاميون فكان غالبهم مجاهدين)).