وكانت له صحبة، وكان مع أبيه بمصر، وكان قد قرأ كتب دانيال هنالك، وكانت قريش إذ ذاك تعده عالما- فقال له عمرو بن سعيد: أخبرني عن هذا الرجل، أترى ما يطلب تاما له؟ وأخبرني عن صاحبي إلى ما ترى أمره صائرا إليه؟ فقال: لا أرى صاحبك إلا أحد الملوك الذين تتم لهم أمورهم حتى يموتوا وهم ملوك فلم يزدد عند ذاك إلا شدة على ابن الزبير وأصحابه، مع الرفق بهم، والمداراة لهم.
ثم إن الوليد بن عتبة وناسا معه من بني أمية قالوا ليزيد بن معاوية: لو شاء عمرو بن سعيد لأخذ ابن الزبير وبعث به إليك، فسرح الوليد بن عتبة على الحجاز أميرا، وعزل عمرا.
وكان عزل يزيد عمرا عن الحجاز وتأميره عليها الوليد بن عتبة في هذه السنة- أعني سنة إحدى وستين،
قال أبو جعفر: حدثت عن محمد بن عمر قال: نزع يزيد عمرو بن سعيد بن العاص لهلال ذي الحجة سنة إحدى وستين وولى الوليد بن عتبة، فأقام الحجة سنة إحدى وستين بالناس، وأعاد ابن ربيعة العامري على قضائه.
وحدثني أحمد بن ثابت، قال: حدثت عن إسحاق بن عيسى، عن أبي معشر، قال: حج بالناس في سنة إحدى وستين الوليد بن عتبة، وهذا مما لا اختلاف فيه بين أهل السير.
وكان الوالي في هذه السنة على الكوفة والبصرة عبيد الله بن زياد، وعلى قضاء الكوفة شريح، وعلى قضاء البصرة هشام بن هبيرة، وعلى خراسان سلم بن زياد.