فوصل مروان إلى الزاب ونزل به وحفر عليه خندقا وكان في مائة ألف وعشرين ألفا، وسار أبو عون من شهرزور إلى الزاب بما عنده من المجموع وأردفه السفاح بعساكر مرات مع مقدمين منهم سلمة بن محمد وعبد الله الطائي وعم السفاح عبد الله، ولما قدم عمه على أبي عون تحول أبو عون عن سرادقة وخلاه له وما فيه.
ثم أن مروان عقدا جسرا على الزاب وعبر إلى جهة عبد الله بن علي، فسار عبد الله إلى مروان وجعل على ميمنته أبا عون وعلى ميسرته الوليد بن معاوية وكان عسكر عبد الله عشرين ألفا وقيل: أقل، والتقوا واشتد القتال وداخل الفشل عسكر مروان واختل كل أمر أراده حتى انهزم وغرق من أصحابه خلق منهم: إبراهيم بن الوليد بن عبد الملك المخلوع. وكتب عبد الله إلى ابن أخيه السفاح بالفتح وحوى من المنهزمين أسلحة والهزيمة يوم السبت لإحدى عشرة ليلة خلت من جمادى الآخرة من سنة اثنتين وثلاثين ومائة.
ولما انهزم مروان من الزاب أتى الموصل، فسبه أهلها وقالوا: يا جعدي الحمد لله الذي أتانا بأهل بيت نبينا، فأتى حران وأقام بها نيفا وعشرين يوما حتى دنا منه عسكر السفاح فحمل مروان أهله وانهزم إلى حمص، وقدم عبد الله بن علي حران.
ثم سار مروان من حمص وأتى دمشق، ثم سار إلى فلسطين.
وكان السفاح قد كتب إلى عمه عبد الله بن علي باتباع مروان، فسار في أثر مروان إلى دمشق فحاصرها ودخلها عنوة يوم الأربعاء لخمس مضين من رمضان منها، وأقام بدمشق خمسة عشر يوما. ثم أتى فلسطين فورد عليه كتاب السفاح بإرسال أخيه صالح بن علي بن عبد الله بن عباس في طلب مروان، فسار صالح في ذي القعدة منها حتى نزل نيل مصر ومروان منهزم قدامه، وأدركه في كنيسة بوصير من أعمال مصر، وانهزم أصحاب مروان، وطعن إنسان مروان برمح فقتله، وسبق كوفي كان يبيع الرمان فاحتز رأس مروان لثلاث بقين من ذي الحجة منها.
وأحضر الرأس قدام صالح بن علي بن عبد الله بن العباس، فأمر أن ينفض فسقط لسانه فأخذته هرة، وارسله صالح إلى أبي العباس وقال:
(قد فتح الله مصرا عنوة لكن ... وأهلك الفاجر الجعدي إذ ظلما)
(وذاك مقوله هو يجرجره ... وكان ربك من ذي الكفر منتقما)
ثم رجع صالح إلى الشام وخلف أبا عون بمصر ولما وصل الرأس إلى السفاح بالكوفة سجد شكرا.
وهرب عبد الله وعبيد الله ابنا مروان إلى الحبشة، فقاتلهم الحبشة فقتل عبيد الله ونجا عبد الله في عدة ممن معه، وبقي إلى خلافة المهدي فأخذه نصر بن محمد بن الأشعث عامل فلسطين وبعث به إلى المهدي.