ابن علي صاحب سبتة على طنجة وهي كانت عدة القاسم يلجأ اليها إن رأى ما يخافه بالأندلس

وقام عليه جماعة أهل قرطبة بالمدينة وغلقوا أبوابها دونه وحاصرهم نيفا وخمسين يوما واقام الجمعة في مسجد خارج قرطبة يعرف بمسجد ابن أبي عثمان أثره باق إلى اليوم ثم إن أهل قرطبة زحفوا إلى البربر فانهزم البربر عن القاسم وخرجوا من الأرباض كلها في شعبان سنة 414 ولحقت كل طائفة من البربر ببلد غلبت عليه

وقصد القاسم اشبيلية وبها كان ابناه محمد والحسن فلما عرف أهل أشبيلية خروجه عن قرطبة ومجيئه إليهم طردوا ابنيه ومن كان معهما من البربر وضبطوا البلد وقدموا على أنفسهم ثلاثة من أكابر البلد أحدهم القاضي أبو القاسم محمد بن إسماعيل بن عباد اللخمي ومحمد بن يريم الألهاني ومحمد بن الحسن الزبيدي ومكثوا كذلك أياما مشتركين في سياسة البلد وتدبيره ثم استبد القاضي أبو القاسم محمد بن إسماعيل بن عباد بالأمر والتدبير وصار الآخران من جملة الناس

ولحق القاسم بشريش واجتمع البربر على تقديم ابن أخيه يحيى فزحفوا إلى القاسم فحاصروه حتى صار في قبضة ابن أخيه وانفرد ابن أخيه يحيى بولاية البربر

وبقي القاسم أسيرا عنده وعند أخيه إدريس بعده إلى أن مات إدريس