تنازع العلماء في أصل هذه النسبة وإلى أي شيء تضاف فقيل: هي نسبة إلى أهل الصُفَّة، وقيل: نسبة إلى الصفوة، وقيل: نسبة إلى الصف المقدّم، وقيل: بل نسبة إلى صوفة بن بشر رجل عرف بالزهد في الجاهلية، قال الإمام ابن تيمية: " وكل هذا غلط، وقيل - وهو المعروف - أنه نسبة إلى لبس الصوف ". ونفى القشيري صحة هذه النسبة أيضاً، وقال: إن القوم لم يعرفوا بلبس الصوف، وأيا كان أصل النسبة فإن اللفظ صار علما على طائفة بعينها، فاستغني بشهرته عن أصل نسبته.
هذا عن أصل النسبة، أما معنى التصوف فللقوم عبارات مختلفة في ذلك تصور مقام كل واحد في التصوف وتصوره له، فقال بعضهم في تعريف التصوف: أنه الدخول في كل خلق سني، والخروج عن كل خلق دني، وقيل: أن يكون العبد في كل وقت بما هو أولى به في ذلك الوقت، بمعنى أنه إن كان في وقت صلاة كان مصليا، وإن كان في وقت ذكر كان ذاكر، وإن كان في وقت جهاد كان مجاهدا، لذلك قيل: الصوفي ابن وقته، وقيل في تعريف التصوف الأخذ بالحقائق، واليأس بما في أيدي الخلائق، وقيل التصوف مراقبة الأحوال ولزوم الأدب، وقيل غير ذلك.
ويقول الشيخ ممدوح الحربى:
أما نشأة التصوف: