فوجه إليهم يزيد مسلم بن عقبة المري في اثني عشر ألفا، وقيل: عشرين ألفا، وقال: ادعهم ثلاثا، فإن رجعوا، وإلا فقاتلهم، فإذا ظهرت فأبحها للجيش ثلاثا، وأجهز على جريحهم، واتبع منهزمهم، فتوجه إليهم، فوصل في ذي الحجة سنة ثلاث وستين، فحاربوه.
وكان الأمير على الأنصار: عبد الله بن حنظلة؛ غسيل الملائكة، وعلى قريش: عبد الله بن مطيع، وعلى غيرهم من القبائل: معقل بن سنان الأشجعي، وكانوا اتخذوا خندقا.
فلما رآهم أهل الشام خافوهم، وكرهوا قتالهم، فأدخل بنو حارثة قوما من الشاميين من جانبة الخندق، فلما سمعوا التكبير في جوف المدينة خافوا على أهلهم، فتركوا القتال، ودخلوا المدينة، فكانت الهزيمة.
وأباح مسلم المدينة ثلاثا يقتلون الناس، ووقعوا على النساء، وقاتل عبد الله بن مطيع حتى قتل هو وبنون له سبعة، وبعث برأسه إلى يزيد، وقتل من وجوه الناس أكثر من سبع مئة من قريش، ومن أخلاط الناس من الموالي والعبيد والصبيان والنساء أكثر من عشرة آلاف، وسبوا الذرية، واستباحوا الفروج، وأحبلوا أكثر من ألف امرأة من الزنا، وسمي أولادهن أولاد الحرة، وربطوا الخيل بسواري المسجد الشريف، وجالت الخيل فيه، وراثت، وبالت بين القبر الشريف والمنبر، وتعطل المسجد الشريف ثلاثة أيام؛ لم يصل فيه.
وكان ابن المسيب - رضي الله عنه - في المسجد تلك الأيام يسمع من القبر الشريف الأذان والإقامة، وكانوا يضحكون منه ويقولون: انظروا إلى هذا الشيخ المجنون يصلي.
وذلك أنهم جاؤوا به ليبايع يزيد على أنه عبد قن ليزيد في طاعة الله ومعصيته كما بايع الناس، فقال: بل على كتاب الله، وسنة نبيه، وسيرة أبي بكر وعمر رضي الله عنهما. فأمر بقتله، فقال بعض الناس: دعوه فإنه مجنون. فتركوه.
وكل من أبى أن يبايع على أنه عبد ليزيد في طاعة الله ومعصيته أمر بقتله، ودخلت