رأى الفرس بعد أسر الهرمزان وانسياح المسلمين في بلادهم أن يقفوا صفا واحدا بزعامة «يزدجرد» أمام الخطر الداهم، فتجمعوا عند «نهاوند»، وتكاتب حكام المقاطعات وملوكها على لقاء المسلمين بجيش موحد، فتجمعوا من «مرو» و«الباب» و«السند» و«خراسان»، وعلم سعد بخبرهم فكتب إلى عمر بذلك، وحدث في ذلك الحين أن اشتكى جماعة من أهل الكوفة على سعد واتهموه بالظلم، فقال عمر: والله لا يمنعني ما نزل بأمر المسلمين عن النظر بشكواهم، واستقدم إليه سعدا فخلف على عمله عبد الله بن عبد الله بن عتبان، وتوجه إلى المدينة، فلما دخل على عمر حقق معه في التهم المنسوبة إليه، فوجد أن القوم متحاملون عليه، ولكنه رأى أن يعزله، وولى الكوفة النعمان بن مقرن، وكان قد اقتحم «جنديسابور» و«السوس» في جمع أهل الكوفة، فأرسل إليه عمر كتاب العهد وكتاب الحض على الجهاد، وهذا نصه: «بسم الله الرحمن الرحيم، من عبد الله عمر أمير المؤمنين إلى النعمان بن مقرن، سلام عليك، فإني أحمد الله إليك الذي لا إله إلا هو، أما بعد فإنه بلغني أن جموعا من الأعاجم كثيرة قد جمعوا لكم «بمدينة نهاوند»، فإذا أتاك كتابي هذا فسر بأمر الله، وبعون الله، وبنصر الله بمن معك من المسلمين، ولا توطئهم وعرا فتؤذيهم، ولا تمنعهم حقهم فتكفرهم، ولا تدخلهم غيضة، فإن رجلا من المسلمين أحب إلي من مائة ألف دينار، والسلام عليك.»

ثم أمره أن يسير حتى يبلغ «ماه» وينتظر هناك حتى تجتمع لديه الجيوش، ثم يسير بها إلى «نهاوند»، وكتب إلى عبد الله بن عبد الله بن عتبان خليفة سعد على الكوفة يأمره باستنفار الناس للتوجه إلى النعمان، وأرسل إلى جند الأهواز يأمرهم بالمقام ليكونوا حائلا بين أهل إقليم فارس وبين المجتمعين بنهاوند، فلما اجتمعت الجيوش عند النعمان سار بهم، وعلى مقدمته أخوه نعيم بن مقرن، وعلى مجنبتيه أخوه سويد بن مقرن، وحذيفة بن اليمان، وعلى المجردة القعقاع، وعلى الساقة مجاشع بن مسعود، وجاءهم من دق المدينة عليهم المغيرة بن شعبة.

فلما وصلوا «نهاوند» نشب القتال بينهم وبين الفرس، فتقاتلوا ثلاثة أيام، ثم انحجز الفرس في خنادقهم، فخاف المسلمون أن يطول ذلك الانحجاز، وأن يكون وراءه خطة مدبرة ضد المسلمين، فتشاور المسلمون في الأمر، ثم اتفقوا على أن يقاتلهم القعقاع ويظهر الهزيمة، فإذا تبعه الفرس وصاروا بين المسلمين وبين القعقاع أعمل فيهم القتال، ويقضي الله بعده ما يشاء، فقاتلهم القعقاع، وخرج إليه الفرس من خنادقهم، فأظهر القعقاع الهزيمة أمامهم، فتتبعوه فرحين؛ لأنهم لم يروا مثل ذلك من المسلمين قبل الآن، ولم يزالوا كذلك حتى قاربوا جيش المسلمين، فزحف عليهم، وقتل النعمان فسجاه أخوه نعيم، وكتم موته عن الجند ليلا، وأخذ الراية حذيفة، واستمر القتال إلى آخر النهار، فلما أظلم الليل انهزم الفرس، ونجا الفيرزان بنفسه نحو «همذان»، فلحق به بعض الجند وقتلوه هناك، وفتحوا همذان صلحا، ولما علم أهل «ماه» بذلك طلبوا الصلح من حذيفة، فكتب له كتابا هذا نصه: «هذا ما عاهد حذيفة بن اليمان أهل «ماه بهراذان» أعطاهم الأمان على أنفسهم وأموالهم وأرضهم، لا يغيرون عن ملة، ولا يحال بينهم وبين شرائعهم، ولهم المنعة ما أدوا الجزية في كل سنة إلى من وليهم، على كل حالم في ماله ونفسه على قدر طاقته، وما أرشدوا ابن السبيل، وأصلحوا الطرق، وقروا جنود المسلمين ممن مر بهم فأوى إليهم يوما وليلة، ووفوا ونصحوا، فإن غشوا وبدلوا فذمتنا منهم بريئة، وشهد القعقاع بن عمرو ونعيم بن مقرن وسويد بن مقرن، وكتب في المحرم سنة 19ه.»

وكانت مغانم المسلمين يوم «نهاوند» لا تحصى من الرياش والجواهر والذهب، ومن بين ذلك ذخيرة كسرى من الجوهر الذي كان أعده لذلك الزمان، فأجمع رأي المسلمين على إرسال ذلك إلى عمر، وقسم حذيفة غنائم كل فرد من الناس فبلغت مبلغا جسيما، قيل: إنه ستة آلاف درهم. وسمي فتح نهاوند: فتح الفتوح، وبعث حذيفة بالبشرى إلى عمر، فلما قارب البشير المدينة وجد عمر خارجا يتنسم الأخبار؛ لأنه قدر الواقعة، فبات يتململ حتى وصل البشير، فقال له عمر: ما وراءك؟ فقال: خيرا يا أمير المؤمنين، فتح الله عليك وأعظم الفتح، واستشهد النعمان بن مقرن، فقال عمر: إنا لله وإنا إليه راجعون، ثم بكى فنشج، وتسلم الغنائم والخمس ووضعها في بيت المال، وشكر الله على هذا الفتح المبين.