La splendida residenza extraurbana dei Madruzzo è detta delle Albere dai filari di pioppi che accompagnavano il viale di accesso. È un massiccio palazzo cinquecentesco con quattro torrioni angolari e un’apertura a serliane sovrapposte sul prospetto principale, rivolto verso la città.
L’edificio venne portato a termine tra il 1550 e il 1560 al tempo del principe vescovo Cristoforo Madruzzo, forse su disegno dell’architetto militare Francesco da Gandino. L’interno conserva suggestivi cicli affrescati. Durante il Concilio il palazzo fu teatro di banchetti e tornei in onore di principi e ambasciatori.