ممتنعا عن مبايعة يزيد ثم اتفق اهل المدينة في سنة 64 على خلع يزيد فخلعوه وطردوا نائبه فأرسل يزيد مسلم بن عقب فحاربهم ودخل المدينة عنوة واباحها لعسكره ثلاثة ايام يفعلون باهلها ما يشاؤن من قتل ونهب وهتك وبعد ان اكره سكان المدينة الجيش مكانه الحصين بن نمير السكوني فحاصرها ورمى البيت الحرام بالمنجنيق واحرقه بالنار ثم اتاه خبر موت يزيد فعاد إلى الشام وقيل انه عرض على الزبير ان يبايعه فامتنع الزبير وتوفي يزيد ليلة 14 ربيع الاول سنة 64 وعمره ثمان وثلاثون سنة وكانت امه ميسون بنت بحدل الكلبية وبويع بعده لابنه معاوية بن يزيد بن معاوية ولم تستمر خلافته الا بضعة اشهر ثم خلع نفسه واعتكف في منزله حتى مات وسنه احدى وعشرون سنة وجمع الناس قبل الانعكاف واوصاهم بان يختاروا للخلافة من احبوا
هذا ولما مات يزيد بن معاوية حصلت البيعة بمكة لعبد الله بن الزبير وبايعه كذلك اهل العراق واليمن وذلك في مدة خلافة معاوية بن يزيد ولما مات معاوية الثاني بايع اهل الشام مروان بن الحكم ثم بايعه اهل مصر وتزوج مروان بأم خالد زوجة يزيد بن معاوية حتى يأمن جانب خالد فاتاه الشر من حيث كان يريد النفع وقتلته ام خالد يوم الثالث من رمضان سنة 65 وعمره ثلاثة وستون سنة