قال الطبري بعد ذكر الخلاف في الجماعة، ومنه حصر بعضهم إياه في الصحابة: والصواب لزوم الجماعة الذين في طاعة من اجتمعوا على تأميره، فمن نكث بيعته خرج عن الجماعة (قال) وفي الحديث أنه متى لم يكن للناس إمام فافترق الناس أحزابا فلا يتبع المسلم أحدا في الفرقة ويعتزل الجميع إن استطاع ذلك خشية من الوقوع في الشر. . نقله عنه الحافظ في شرح البخاري وأقره. .
هؤلاء الجماعة هم أولو الأمر من المسلمين وأهل الحل والعقد والإجماع المطاع. . ومنهم كبار الحكام، وأهل الشورى لدى الإمام، ومتى خوطب المؤمنون في الكتاب والسنة وآثار الصحابة في أمر من الأمور العامة فهم المعنيون المطالبون بتنفيذ الأمر، ومراقبة المنفذ: ومن الآثار الدالة على الإجماع في ذلك قول أبي بكر (رضي الله عنه) في خطبته الأولى بعد المبايعة: " أما بعد فقد وليت عليكم ولست بخيركم فإذا استقمت فأعينوني، وإذا زغت فقوموني ". . وروى نحوه عن عمر وعثمان: وهم الذين فرضوا له راتب الخلافة كرجل من أوساط المهاجرين لا أعلاهم ولا أدناهم. .
وفي متن المواقف للعضد: وللأمة خلع الإمام وعزله بسبب يوجبه، وإن أدى إلى الفتنة احتمل أدنى المضرتين. . وقال شارحه السيد الجرجاني في بيان السبب: مثل أن يوجد منه ما يوجب اختلال أحوال المسلمين، وانتكاس أمور الدين. . كما كان لهم نصبه وإقامته لإنتظامها وإعلائها. . وسيأتي مثله لإمام الحرمين.
وقد تقدم في التعريف بالخلافة قول الرازي إن الرئاسة العامة هي حق الأمة التي لها أن تعزل الإمام (الخليفة) إذا رأت موجبا لعزله، وقد فسر السعد معنى هذه الرئاسة لئلا تستشكل فيقال إذا كانت الرئاسة للأمة فمن المرءوس؟ فقال إنه يريد بالأمة أهل الحل والعقد أي الذين يمثلون الأمة بما لهم فيها من الزعامة والمكانة، ورئاستهم تكون على من عداهم أو على جميع أفراد الأمة. . والثاني هو الصحيح، ويؤيد هذا تفسير الرازي لأولى الأمر في قوله تعالى 58: 4 ﴿يا أيها الذين آمنوا أطيعوا الله وأطيعوا الرسول وأولي الأمر منكم﴾ فقد حقق أن المراد بأولي الأمر أهل الحل والعقد الذين يمثلون سلطة الأمة. وقد تابعه على هذا النيسابوري واختاره الأستاذ الإمام، ووضحناه في التفسير مستدلين عليه بقوله تعالى (وإذا جاءهم أمر من الأمن أو الخوف أذاعوا به ولو ردوه إلى الرسول وإلى أولي الأمر منهم لعلمه الذين يستنبطونه