ولزم ابن الزبير الحجر, ولبس المعافري, وجعل يحرض الناس على بني أمية، وبلغ يزيد ذلك، فوجد عليه، فقال ابن الزبير: أنا على السمع والطاعة, لا أبدل ولا أغير، ومشى إلى يحيى بن حكيم بن صفوان بن أمية الجمحي وهو والي مكة ليزيد بن معاوية، فبايعه له على الخلافة، فكتب بذلك يحيى إلى يزيد, فقال: لا أقبل هذا منه, حتى يؤتى به في جامعة، فقال له ابنه معاوية بن يزيد: يا أمير المؤمنين, ادفع الشر عنك ما اندفع، فإن ابن الزبير رجل لحز لجوج، ولا يطيع بهذا أبدا، وإن تكفر عن يمينك وتلهى منه حتى تنظر ما يصير إليه أمره أفضل، فغضب يزيد, وقال: إن في أمرك لعجب، قال: فادع عبد الله بن جعفر فسله عما أقول وتقول، فدعى عبد الله بن جعفر, فذكر له قولهما، فقال عبد الله: أصاب أبو ليلى ووفق، فأبى يزيد أن يقبل ذلك, وعزل الوليد بن عتبة عن المدينة، وولاها عمرو بن سعيد بن العاص, وأرسل إليه: إن أمير المؤمنين يقسم بالله لا يقبل من ابن الزبير شيئا حتى يؤتى به في جامعة، فعرضوا ذلك على ابن الزبير, فأبى، فبعث يزيد: الحصين بن نمير، وعبد الله بن عضاه الأشعري بجامعة إلى ابن الزبير يقسم له بالله لا يقبل منه إلا أن يؤتى به فيها، فمرا بالمدينة، فبعث إليه مروان معهما عبد العزيز بن مروان، يكلمه في ذلك, ويهون عليه الأمر.

فقدموا عليه مكة, فأبلغوه يمين يزيد بن معاوية ورسالته، وقال له عبد العزيز بن مروان: إن أبي أرسلني إليك عناية بأمرك, وحفظا لحرمتك، فأبرر يمين أمير المؤمنين،