تولى عمر رضي الله عنه الخلافة بعد أبي بكر، وقام بأعباء الخلافة خير قيام، وكثرت الفتوحات على يده وصار له من الهيبة والعظمة ما خذل الله به أعداءه، ومع ذلك فكان متواضعًا يقبل الحق من أي شخص كان، وكان لا يأخذ من بيت المال إلا مثل ما يأخذه أي أحد من الناس، ولا يعطي أحدًا من أولاده إلا مثل ما يعطي أحدًا من الناس، بل ربما نقصه، ولم يتخذ رضي الله عنه لنفسه بوابًا ولا قصرًا، بل كان رضي الله عنه ينام في المسجد فيجمع الحصى ثم ينام عليه كوسادة له، وكان عليه رداء مرقعه، وفي سيرته من العجب ما لا يكاد يصدق فيما ينقل عنه، ولهذا أعز الله به الإسلام بعد أن كان خليفة، وقبل أن يكون خليفة.

وكان له هيبة عظيمة رضي الله عنه، ومن ذلك ما يذكر من أن رجلًا من اليهود في الشام كان منزله إلى جنب بيت المال، فعرض عليه معاوية أن يشتريه منه، قال: بع على البيت - من أجل أن يدخله في بيت المال - فأبى اليهودي، فأعطاه ثمنًا أكثر من ثمنه، فأبى.

فأدخله معاوية رضي الله عنه في بيت المال وقال: إن شئت أعطيناك، وذلك لما رأى معاوية رضي الله عنه أن المصلحة العامة مقدمة على المصلحة الخاصة.

ولكن اليهودي أبى فقدم المدينة يبحث عن عمر، فقيل له: تجده الآن في المسجد، فذهب إلى المسجد فوجده رضي الله عنه نائمًا على البطحاء في هدوء، عليه رداء مرقع، كأنه فقير؛ في حين أن معاوية وهو أمير من أمرائه - لما كانوا في الشام يقدسون ملوكهم ويعظمونهم ويجعلون لهم القصور - قد اتخذ لنفسه مثل هذا، لا حبًا في الدنيا، ولكن إقامة للسلطة حتى يهابها الناس؛ لأن معاوية لو فعل مثل ما فعل عمر في المدينة وهو في الشام لن يبالي به