الحي بعد أن أعاد المسلمون فتح المدينة وطردوا الفرنج منها، ولم تكن المدينة قوية التحصين، ولكنها كانت تعتمد في دفاعها على حماية القلعة لها، وهي تنتصب فوق جرف صخري قائم فوقها. ولم يبق من القلعة سوى قليلا من الآثار التي تعود إلى أيام الحروب الصليبية القديمة، وقد تم تجديد القسم الأكبر منها بعد إعادة الفتح الإسلامي، وكذلك في أيام الحكم التركي العثماني.

تناوبت على حكم طرابلس منذ الفتح العربي - الإسلامي سلالات وعائلات عربية كثيرة لعل من أكثرها شهرة عائلة (بنو عمار) التي حكمت طرابلس منذ سنة 463 ها = 1070 م. وعندما اجتاحت ريح الحكم الفاطمي ساحل بلاد الشام، سيطرت على طرابلس سنة 493 ه = 1099 م. وعندما جاء الفرنج الصليبيون، فاستولوا على انطاكية سنة 491 ه = 1097 م. ثم أقاموا مملكتهم في القدس في السنة التالية. وجدوا أنه لا بد لهم من الاستيلاء على طرابلس لتأمين الاتصال بين اماراتهم في الشمال و اماراتهم و مملكتهم في الجنوب. وهكذا توجه ريموند کونت تولوز سانت جيل بجيشه وألقى الحصار على طرابلس سنة 496 ه = 1102 م. وقد ذكرت المصادر العربية قصة هذا الحصار - ودور بنو عمار - بما يلي: «أرسل فخر الملك بن عمار صاحب طرابلس إلى الأمير باخز خليفة جناح الدولة على حمص، و إلى الملك دقاق بن تتش. يستنصر بها على صنجيل الفرنجي. فخرج الأمير باخز بنفسه، وسير دقاق ألفي مقاتل. وأنتهم الامداد من طرابلس، فاجتمعوا على باب طرابلس. وصافوا صنجيل هناك، فأخرج صنجيل مائة من عسكره إلى أهل طرابلس ومائة إلى عسكر دمشق و خمسين إلى عسکر حمص، وبقي هو في خمسين فأما عسکر حمص فانهم انكسروا عند المشاهدة. قبل الصدام - وولوا منهزمين. وتبعهم عسکر دمشق. وأما أهل طرابلس فإنهم قاتلوا المائة الذين قاتلوهم. فلما شاهد ذلك صنجيل حمل في المائتين الباقية، فكسروا أهل طرابلس، وقتلوا منهم سبعة آلاف رجل. ونازل صنجيل طرابلس وحصرها. وأتاه أهل الجبل فأعانوه على حصارها. وكذلك أهل السواد. وأكثرهم من النصاري. فقاتل من بها أشد قتال. فقتل من الفرنج ثلثمائة. ثم إنه هادنهم على مال وخيل، فرحل