فسار إليه جيشان من المسلمين، انطلق أحدهما من الكوفة من قبل واليها عتبة بن غزوان، وسار الثاني من البصرة من قبل حاكمها أبي موسى الأشعري، وانتصر المسلمون عليه وهذا ما أجبره على طلب الصلح، فأعطوه ذلك. ثم نقض الهرمزان الصلح بعد أن استعان بجماعة من الكرد، فبرز إليه المسلمون فهزموه فتحصن في تستر (ششتر اليوم)، إلا أن أهل المنطقة قد صالحوا المسلمين عندما رأوا إصلاح بلادهم، ودفعوا الجزية عن يدٍ وهم صاغرون، وهذا ما جعل الهرمزان يطلب الصلح ثانية، ويصالح على عدد من المدن منها (تستر) و (جنديسابور)، وكان حرقوص بن زهير قد فتح سوق الأهواز. ثم نقض الهرمزان الصلح ثانية بناء على تحريض يزدجرد، وبلغ الخبر عمر، فأمر أن يسير إليه جيش من الكوفة بإمرة النعمان بن مقرن، وكانت الكوفة مقر سعد بن أبي وقاص، كما أمر أن يسير جيش آخر من البصرة بإمرة سهيل بن عدي، وأن يكون على الجميع أبو سيرة بن أبي رهم، فالتقى النعمان بالهرمزان فهزمه، ففر إلى تستر فسار إليه سهيل بن عدي، كما لحقه النعمان، فحاصروه هناك، وكان أمير الحرب أبو سبرة بن أبي رهم ابن عمة رسول الله صلى الله عليه وسلم، وقد وجد أن مع الهرمزان عدداً كبيراً من المقاتلين، فكتبوا بذلك إلى أمير المؤمنين، فطلب من أبي موسى الأشعري أن يذهب إليهم مدداً، فسار نحوهم، وحاصروا الفرس، واضطرهم إلى الاستسلام بعد فتح البلد عنوة، ولجأ الهرمزان إلى القلعة، فحاصروه وأجبروه على الاستسلام، وأرسلوه إلى عمر بن الخطاب بالمدينة مع وفد فيه الأحنف بن قيس وأنس بن مالك.
ثم سار أبو سبرة بن أبي رهم في قسم من الجيش ومعه أبو موسى الأشعري والنعمان بن مقرن واستصحبوا معهم الهرمزان، وساروا حتى نزلوا (السوس) فحاصروها، وكتب إلى أمير المؤمنين بذلك، فأجابهم بأن يرجع أبو موسى الأشعري إلى البصرة، وأن يسير زر بن عبدالله بن كليب إلى جنديسابور، فسار، وبعث أبو سبرة بالخمس وبالهرمزان إلى المدينة، ولما وصل الوفد بالهرمزان إلى المدينة اتجه إلى بيت أمير المؤمنين، فقيل لهم: إنه بالمسجد للقاء وفد الكوفة، فانطلقوا إلى المسجد، فلم يروا فيه أحداً، ولما هموا بالعودة قال لهم غلمان يلعبون أمام المسجد: إنه نائم في زاوية المسجد، فانطلقوا فوجدوه نائماً، فقال الهرمزان: أين عمر؟ فأشاروا إليه، وقد دهش لعدم وجود الحرس والحجاب كما اعتاد أن يرى في ملوك فارس وأكاسرتها.
وفتحت السوس عنوة بعد حصار حتى طلب أهلها الصلح، وكذلك فقد فتح زر بن عبد الله جند يسابور.
وتقدم المسلمون في بلاد فارس أيام عمر بن الخطاب من جهة ثانية، فقد كان العلاء بن الحضرمي والي البحرين يسابق سعد بن أبي وقاص في الفتح، فلما كتب الله النصر لسعد في القادسية، وكان له ذلك الصدى الواسع، أحب العلاء أن يكون له النصر على فارس من جهته، فندب الناس إلى الجهاد ضد فارس، فاجتمع الجيش وعبر العلاء بن الحضرمي البحر إلى فارس من جهته وذلك دون إذن أمير المؤمنين، اتجه العلاء نحو اصطخر، إلا أن الفرس قد حالوا بين المسلمين وسفنهم، فوجد المسلمون أنفسهم بين العدو والبحر، فعلموا جهدهم وقاتلوا بقوة فنصرهم على عدوهم، ثم خرجوا يريدون البصرة، فلم يجدوا سفنهم، كما رأوا أن الفرس قد قطعوا