Sull'acropoli dell'antica Luceria romana e bizantina, nel 1293 Federico II ordinò la costruzione di un grande palazzo fortificato di pianta quadrata; nell'edificio, celebre e rinomato per la fastosità delle decorazioni (nel '700 ancora visibili) erano ospitate la zecca, il tesoro imperiale e raccolte di antichità. Ma-quel che più ha colpito la fantasia dei posteri è che Federico trasferì di forza a Lucera i suoi sudditi facendone la propria fedelissimo guardia del corpo. Nacque così intorno al palazzo di Federico una vera città saracena, con botteghe artigiane, scuderia, minareti e moschea e infine un harem.