وفي تلك الحالة التي كان القرامطة يُذبّحون فيها المسلمين ويعملون من جثثهم كومات متراكمة بعضها فوق بعض، كان أبو طاهر ينشد البيت التالي وهو يقف بقرب الكعبة:

أنا بالله وبالله أنا ... يخلق الخلق وأفنيهم أنا (1)

هذا وإضافةً إلى المقتلة العظيمة التي أحدثها القرامطة، والوحشية التي اتّبعوها مع الحجّاج، واستيلائهم على أموالهم وأموال أهل مكّة، فقد قاموا بسرقة معظم الحلي والنفائس الموجودة في الكعبة ومن جملة ما سرقوا ستار الكعبة المشرّفة، وقلعوا بابها ثمّ عمدوا إلى ميزابها لقلعه وأرسلوا واحداً منهم إلى سطح الكعبة لأجل ذلك إلاّ أنَّ المرسل لفعل ذلك سقط من على السطح وخرَّ ميّتاً في الحال. وأهم ممّا قيل فقد سرق القرامطة الحجر الأسود بعد أن قلعوه بواسطة مقلاع أو فأس وحملوه معهم إلى البحرين. وقد ورد موضوع سرقة الحجر الأسود من قبل القرامطة في كتب التأريخ جميعاً، وقد اضافت مصادر تأريخية أخرى قائلة إنَّ أبا طاهر ضَرَبَ الحجر الأسود بفأس كانت بيده وذلك في محاولة لقلعه، فانكسر الحجر ثمّ التفت إلى الجموع هناك قائلا لهم: أيّها الجهلة! أنتم تقولون: إنَّ كلّ من يرد البيت فهو آمن وقد رأيتم ما فعلتُ أنا إلى الآن. فتقدم إليه رجل من الحاضرين ممّن كان قد هيأ نفسه للموت فأمسك بلجام حصان أبي طاهر وأجابه قائلا: إنَّ معنى ذلك ليس كما قلت بل إن المعنى هو أن من يدخل هذا البيت فعليكم منحه الأمان على نفسه وماله وعرضه حتّى يخرج منه. فامتعظ القرمطي وتحرك بحصانه دون أن ينبسّ ببنت شفة(2).