قاتل مع ابن الأشعث في مواطنه، فقال حوشب للحجاج بن يوسف: إن منا امرأ صاحب فتن ووثوب على السلطان، لم تكن فتنة في العراق قط إلا وثب فيها، وهو ترابي، يلعن عثمان، وقد خرج مع ابن الأشعث فشهد معه في مواطنه كلها، يحرض الناس حتى إذا أهلكهم الله، جاء فجلس في بيته، فبعث إليه الحجاج فضرب عنقه، فقال بنو أبيه لآل حوشب: إنما سعيتم بنا سعيا، فقالوا لهم: وأنتم إنما سعيتم بصاحبنا سعيا.
فقال أبو مخنف: وقد كان عبد الله بن خليفة الطائي شهد مع حجر ابن عدي، فطلبه زياد فتوارى، فبعث إليه الشرط، وهم أهل الحمراء يومئذ، فأخذوه، فخرجت أخته النوار فقالت: يا معشر طيئ، أتسلمون سنانكم ولسانكم عبد الله بن خليفة! فشد الطائيون على الشرط فضربوهم وانتزعوا منهم عبد الله بن خليفة، فرجعوا إلى زياد، فأخبروه، فوثب على عدى ابن حاتم وهو في المسجد، فقال: ائتني بعبد الله بن خليفة، قال: وما له! فأخبره، قال: فهذا شيء كان في الحي لا علم لي به، قال: والله لتأتيني به، قال: لا، والله لا آتيك به أبدا، أجيئك بابن عمي تقتله! والله لو كان تحت قدمي ما رفعتهما عنه قال: فأمر به إلى السجن، قال: فلم يبق بالكوفة يماني ولا ربعي إلا أتاه وكلمه، وقالوا: تفعل هذا بعدي بن حاتم صاحب رسول الله ص! قال: فإني أخرجه على شرط، قالوا: ما هو؟ قال: يخرج ابن عمه عني فلا يدخل الكوفة ما دام لي بها سلطان فأتى عدي فأخبر بذلك، فقال: نعم، فبعث عدى الى عبد الله ابن خليفه فقال: يا بن أخي، إن هذا قد لج في أمرك، وقد أبى إلا إخراجك عن مصرك ما دام له سلطان، فالحق بالجبلين، فخرج، فجعل عبد الله ابن خليفة يكتب إلى عدي، وجعل عدي يمنيه، فكتب إليه:
تذكرت ليلى والشبيبة أعصرا وذكر الصبا برح على من تذكرا
وولى الشباب فافتقدت غضونه فيا لك من وجد به حين ادبرا!