وأخذت الرايات تفد عليه في ذلك الموضع، فعرف الموضع والمسجد بمسجد الرايات، وظلا عامرين قروناً طويلة«(1). ويروى أن المجوس الذين أغاروا على المدينة سنة 860 م نصبوا أعلامهم هناك بعد أن أحرقوا مساجدها. ولما طردهم المسلمون وأعادوا بناء المسجد، صنعوا له باباً من أخشاب سفن المجوس. وقد اشتهر بأنه أول مسجد بني في الأندلس، وكان أهل البلاد يأتون إليه ليؤدوا فيه صلاة الاستسقاء في سنوات الجفاف.