Sembrerebbe che Federico e Bianca Lancia di Agliano si fossero conosciuti nel 1225, prima delle nozze con Jolanda di Brienne: non potendo sposare la giovane nobile piemontese, l’Imperatore mantenne con lei una relazione clandestina per lunghi anni. Dal loro amore nacquero Costanza, Manfredi e Violante, legittimati solo dopo le nozze.
Leggenda narra che Federico, gelosissimo della bella amante, la tenesse rinchiusa nel castello di Gioia del Colle e che Bianca, sopraffatta dall’umiliazione, si tagliò i seni per farli avere all’Imperatore su un vassoio, per poi morire. Ancora oggi si dice che durante la notte nella Torre dell’Imperatrice (così è detta la torre del castello) si avvertano dei lamenti strazianti di donna. Purtroppo le cronache dell’epoca non aiutano a fare chiarezza sul momento delle nozze tra i due: probabilmente vennero celebrate quando Bianca, in punto di morte, supplicò il sovrano di salvarle l’anima e di legittimare il figlio Manfredi.