Riconosciuto come "Rocca dei Vescovi", il castello rappresenta uno degli aspetti più affascinanti della storia di Brendola. Per il periodo che va dall'XI° secolo al XII° il castello fece da teatro alle lotte tra i nobili e il vescovo e, a partire, dal 1184 la reggenza il potere vescovile venne confermato. La città fu successivamente coinvolta nelle contese tra Verona, Padova e infine si consegnò spontaneamente a Venezia nel 1404. Il generale Bartolomeo d'Alviano, nel 1508, ordinò la distruzione della Rocca per evitare che diventasse un appoggio per gli invasori.