الجامع خلال القرن العاشر الهجري / السادس عشر الميلادي أحلك الفترات، وذلك مع دخول الإسبان ابتداء من سنة 1535، فقد نهبت خزائنه وحرقت في صحنه حوالي أربعين مجلد ولم ترجع له حرمته، إلا مع دخول الأتراك العثمانيين سنة 1574 م.

وأضيفت في العهد العثماني على يدي الإمام تاج العارفين البكري النقوش الجصية التي تحلي واجهة المحراب والحدائر، وتؤرخ هذا العمل، نقيشة تحيط بقاعدة قبة المحراب. كما تمت بعض أعمال الترميم في أيام محمد باي المرادي سنة 1064 هـ/ 1655م، وقد جددت المئذبة التي بناها، وذلك سنة 1312 هـ/ 1894م،