وأرادت قريش تفادي الأمر، فأرسلت أبا سفيان إلى المدينة لتجديد الصلح مع المسلمين، ولكن دون جدوى؛ حيث أمر رسول الله صلى الله عليه وسلم المسلمين بالتهئ والاستعداد، وأعلمهم أنه سائر إلى مكة، كما أمر بكتم الأمر عن قريش من أجل مباغتتها في دارها.
وفي رمضان من السنة الثامنة للهجرة غادر الجيش الإسلامي المدينة إلى مكة، في عشرة آلاف من الصحابة بقيادة رسول الله صلى الله عليه وسلم بعد أن استخلف على المدينة أبا ذر الغفاري رضي الله عنه.
ولما كان بالجحفة لقيه عمه العباس بن عبدالمطلب، وكان قد خرج بأهله وعياله مسلماً مهاجراً
وركب العباس بغلة رسول الله صلى الله عليه وسلم البيضاء، يبحث عن أحد يبلغ قريشاً لكي تطلب الأمان من رسول الله صلى الله عليه وسلم قبل أن يدخل مكة.
وكان أبو سفيان ممن يخرج يتجسس الأخبار، فوجده العباس، فنصحه بأن يأتي معه ليطلب له الأمان من رسول الله، فجاء به راكباً معه، حتى أدخله على رسول الله، فقال له الرسول: (ويحك يا أبا سفيان، ألم يأن لك أن تعلم أن لا إله إلا الله؟ .... ألم يأن لك أن تعلم أني رسول الله)، فقال العباس: ويحك أسلم، فأسلم وشهد شهادة الحق، ثم أكرمه الرسول فقال: (من دخل دار أبي سفيان فهو آمن) رواه مسلم.
ولما تحرك الجيش لدخول مكة أمر رسول الله صلى الله عليه وسلم العباس أن يحبس أبا سفيان بمضيق الوادي، حتى تمر به جنود الله فيراها، فمرّت القبائل على أبي سفيان، و العباس يخبره بها، حتى مر رسول الله صلى الله عليه وسلم في كتيبته الخضراء، فيها المهاجرون والأنصار، فقال أبو سفيان: سبحان الله؟ ما لأحد بهؤلاء قبل ولا طاقة. ثم أسرع إلى قومه، وصرخ بأعلى صوته: يا معشر قريش، هذا محمد، قد جاءكم فيما لا قبل لكم به، فتفرق الناس إلى دورهم، وإلى المسجد.
ودخل رسول الله مكة متواضعاً لله الذي أكرمه بالفتح، وكان قد وزع جيشه إلى مجموعات، أو كتائب احتياطاً لأي مواجهة.
ودخل الجيش الإسلامي كل حسب موضعه ومهامه، وانهزم من أراد المقاومة من قريش، ولم يستطع الصمود أمام القوى المؤمنة، ثم دخل رسول الله المسجد الحرام والصحابة معه، فأقبل إلى الحجر الأسود، فاستلمه، وكان حول البيت ثلاثمائة وستون صنماً، فجعل يطعنها بقوس في يده، ويكسرها، ويقول: ﴿جاء الحق وزهق الباطل، إن الباطل كان زهوقاً﴾ (الإسراء:81)، ﴿قل جاء الحق وما يبدئ الباطل وما يعيد﴾ (سبأ: 49)، والأصنام تتساقط على وجوهها، ثم طاف بالبيت.
ثم دعا عثمان بن طلحة، فأخذ منه مفتاح الكعبة، فأمر بها ففتحت، فدخلها فرأى فيها الصور فمحاها، وصلى بها، ثم خرج وقريش صفوفاً ينتظرون ما يصنع، فقال: (يا معشر قريش، ما ترون أني فاعل بكم؟) قالوا: أخ كريم وابن أخ كريم، قال: (فإني أقول لكم كما قال يوسف لإخوانه: ﴿لا تثريب عليكم اليوم﴾ اذهبوا فأنتم الطلقاء).