فلما رأى الناس ذلك العبد قد تسلق انهالوا في دفعة واحدة وصعدوا الجبل كما صعد العبد فصار عنده جماعة وما كان نصر أهل القلعة كون أولئك صاروا في ذلك الموضع إلا ان الله تعالى خذلهم فلما شاهد من بالقلعة أولئك نادوا وطلبوا الأمان فقطع عليهم فطيعة أعطوه مبلغها وأبقاهم على حالهم في قلعتهم بعد أن استحلفهم على الطاعة واقطع عملها الأجناد ورحل عنها إلى قلعة يقال لها أم لامة فنزل قريبا منها وهي في الحصانة على حالة لا يقدر الإنسان عليها فأقام تحتها مدة شهر وهو لا يقدر على قتالها بل يغنم الأجناد من البلاد وينهبون الضياع ويأخذون البربر يقتلونهم بالسيف والدخان في المغاير وكان صاحب هذه القلعة له نسب متصل بمناية قبيل من البربر في جبل من جبال قفصة يزيدون على عشرين ألف راجل فنفذ إليهم واستمرت كتبه إليهم يستدعيهم فوصلوا بعد هذه المدة
وأصبحوا في باكر يومهم ينسلون من كل حدب من الجبل فرأى شرف الدين وأصحابه ما نالهم من كثرة البربر وكانت الطرقات التي ينزلون منها من الجبل كلها وعرة ولم يكن بها طريق سهل إلا طريق واحدة تقدر الخيل على الركض فيها والصعود فيها فاستقبلها شرف الدين بجماعة ممن معه وبقى جماعة في الخيم قائمين لحفظها ولم يكن بالعاجز إلى أن وصل إلى تلك الطريق وقصد من كان بها نازلا فانهزموا طالعين من حيث كانوا نزلوا فلحق منهم جماعة قتلهم هو وأصحابه وأخذوا عشرين رجلا أسرى وكان من الأسارى صبى أمرد مليح الصورة عليه شعر طويل كثيف وجاء إلى الخيمة وقد انهزم كل من جاء من الرجالة من كل طريق نزلوا منها بانهزام من هزمه شرف الدين من الطريق السهلة فلما وقف