فبايعه عمرو على أنه الخليفة بعده، فلما أراد عبد الملك خلعه، وأنه يبايع لأولاده، نفر عمرو لذلك، واتفق خروج عبد الملك إلى قتال ابن الزبير، فخالفه عمرو إلى دمشق فغلب عليها، وبايعه أهلها بالخلافة. وذكر الطبري أنه لما صعد المنبر، خطب الناس فقال: إنه لم يقم أحد من قريش قبلي على هذا المنبر إلاَّ زعم أنَّ له جنةً ونارًا يدخل الجنة من أطاعه والنار من عصاه، وإني أخبركم أن الجنة والنار بيد الله تعالى، وأنه ليس إليّ من ذلك شيء، وإن لكم عليَّ حسن المواساة. فرجع عبد الملك وحاصره، ثم خدعه وأمنه، ثم غدر به فقتله، ويقال: إنه ذبحه بيده، ويقال: إن عبد الملك بعد أن قتله قال: إن كان أبو أمية لأحب إلي من زُهر النّواظر، ولكن والله ما اجتمع فحلان في شولٍ قط إلاَّ أخرج أحدهما صاحبه.
وكان يلقب بلطيم الجن. وكان هو أول من أسرَّ البَسملة في الصلاة مخالفةً لابن الزبير، لأنه كان يجهر بها، روى عن النبي ﷺ، مرسلًا، وعن أبيه وعن عمر وعثمان وعليّ وعائشة، وروى عنه أولاده سعيد وموسى وأمية وخُثَيْم بن مروان السُّلَمي ويحيى بن سعيد الأنصاري وغيرهم، وكان قتله سنة تسعين.