La storia del castello è affascinante: nel 1486 la potente famiglia dei Lodron se ne impossessò sottraendolo ai Castelbarco e lo trasformò da fortificazione ad uso principalmente difensivo in residenza signorile.Fu lui che fece realizzare i nuovi settori residenziali del castello, gli affreschi della scala principale e quelli del giardino d’inverno.