فَضَاقَ عَلَى النَّاسِ، فَاشْتَرَى عُمَرُ بْنُ الْخَطَّابِ رَضِيَ اللَّهُ عَنْهُ دُورًا فَهَدَمَهَا، وَهَدَمَ عَلَى مَنْ قَرُبَ مِنَ الْمَسْجِدِ وَأَبَى بَعْضُهُمْ أَنْ يَأْخُذَ الثَّمَنَ، وَتَمَنَّعَ مِنَ الْبَيْعِ، فَوُضِعَتْ أَثْمَانُهَا فِي خِزَانَةِ الْكَعْبَةِ حَتَّى أَخَذُوهَا بَعْدُ، ثُمَّ أَحَاطَ عَلَيْهِ جِدَارًا قَصِيرًا، وَقَالَ لَهُمْ عُمَرُ: إِنَّمَا نَزَلْتُمْ عَلَى الْكَعْبَةِ فَهُوَ فِنَاؤُهُا، وَلَمْ تَنْزِلِ الْكَعْبَةُ عَلَيْكُمْ، ثُمَّ كَثُرَ النَّاسُ فِي زَمَنِ عُثْمَانَ بْنِ عَفَّانَ رَضِيَ اللَّهُ عَنْهُ فَوَسَّعَ الْمَسْجِدَ، وَاشْتَرَى مِنْ قَوْمٍ، وَأَبَى آخَرُونَ أَنْ يَبِيعُوا، فَهُدِمَ عَلَيْهِمْ فَصَيَّحُوا بِهِ فَدَعَاهُمْ، فَقَالَ: «إِنَّمَا جَرَّأَكُمْ عَلَيَّ حِلْمِي عَنْكُمْ، فَقَدْ فَعَلَ بِكُمْ عُمَرُ هَذَا فَلَمْ يَصِحْ بِهِ أَحَدٌ فَاحْتَذَيْتُ عَلَى مِثَالِهِ فَصَيَّحْتُمْ بِي» ، ثُمَّ أَمَرَ بِهِمْ إِلَى الْحَبْسِ حَتَّى كَلَّمَهُ فِيهِمْ عَبْدُ اللَّهِ بْنُ خَالِدِ بْنِ أَسِيدٍ فَتَرَكَهُمْ