واتخذ عمر بن عبد العزيز مجلس شورى من عشرة من كبار فقهاء المدينة على رأسهم التابعي الجليل (سعيد بن المسيِّب) فلم يقطع أمرًا بدونهم، بل كان دائمًا يطلب منهم النصح والمشورة، وذات مرة جمعهم، وقال لهم:

إني دعوتكم لأمر تؤجرون فيه، ونكون فيه أعوانًا على الحق، ما أريد أن أقطع أمرًا إلا برأيكم أو برأي من حضر منكم، فإن رأيتم أحدًا يتعدَّى أو بلغكم عن عامل (حاكم) ظلامة فأُحرج بالله على من بلغه ذلك إلا أبلغني، فشكروه ثم انصرفوا، وظل عمر بن عبد العزيز في ولاية المدينة ست سنوات إلى أن عزله الخليفة الوليد بن عبد الملك لأن الحجاج أفهمه أن عمر أصبح يشكل خطرًا على سلطان بني أمية.

ذهب عمر إلى الشام ومكث بها إلى أن مات الوليد بن عبد الملك، وتولى الخلافة بدلاً منه أخوه سليمان بن عبد الملك، وكان يحب عمر، ويعتبره أخًا وصديقًا ويأخذ بنصائحه، وذات يوم مرض الخليفة مرض الموت، وشعر بأن نهايته قد اقتربت، فشغله أمر الخلافة حيث إن أولاده كلهم صغار لا يصلحون لتولي أمور الخلافة، فشاور وزيره (رجاء بن حيوة) العالم الفقيه في هذا الأمر، فقال له:

إن مما يحفظك في قبرك ويشفع لك في أخراك، أن تستخلف على المسلمين رجلا صالحًا.

قال سليمان: ومن عساه يكون؟

قال رجاء: عمر بن عبد العزيز.

فقال سليمان: رضيت، والله لأعقدن لهم عقدًا، لا يكون للشيطان فيه نصيب، ثم كتب العهد، وكلف (رجاء) بتنفيذه دون أن يَعْلَمَ أحدٌ بما فيه.

مات سليمان، وأراد (رجاء بن حيوة) تنفيذ العهد لكن عمر كان لا يريد الخلافة، ولا يطمع فيها، ويعتبرها مسئولية كبيرة أمام الله، شعر عمر بن عبد العزيز بالقلق وبعظم المسئولية، فقرر أن يذهب على الفور إلى المسجد حيث يتجمع المسلمون، وبعد أن صعد المنبر قال: لقد ابتليتُ بهذا الأمر على غير رَأْي مِنِّي فيه، وعلى غير مشورة من المسلمين، وإني أخلع بيعة من بايعني، فاختاروا لأنفسكم، لكن المسلمين الذين عرفوا عدله وزهده وخشيته من الله أصرُّوا على أن يكون خليفتهم، وصاحوا في صوت واحد: بل إياك نختار يا أمير المؤمنين، فبكي عمر.

وتولى الخلافة في يوم الجمعة، العاشر من صفر سنة 99هـ، ويومها جلس حزينًا مهمومًا، وجاء إليه الشعراء يهنئونه بقصائدهم، فلم يسمح لهم، وقال لابنه: قل

لهم ﴿إني أخاف إن عصيت ربي عذاب يوم عظيم﴾ [يونس: 15].

دخلت عليه زوجته فاطمة وهو يبكي، فسألته عن سرِّ بكائه، فقال: إني تَقَلَّدْتُ (توليت) من أمر أمة محمد -صلى الله عليه وسلم- أسودها وأحمرها، فتفكرتُ في الفقير الجائع، والمريض الضائع، والعاري والمجهود، والمظلوم المقهور، والغريب الأسير، والشيخ الكبير، وذوي العيال الكثيرة، والمال القليل، وأشباههم في أقطار الأرض وأطراف البلاد، فعلمتُ أن ربي سائلي عنهم يوم القيامة، فخشيتُ ألا تثبتَ لي حجة فبكيتُ.

وترك عمر زينة الحياة الدنيا، ورفض كل مظاهر الملك التي كانت لمن قبله من الخلفاء، وأقام في بيت متواضع بدون حرس ولا حجاب، ومنع نفسه التمتع بأمواله،