La fortezza fu costruita da Galeazzo II nel 1360 e ampliata nel 1372. Come altri Castelli Viscontei, anche quello vogherese, era ubicato presso la cinta muraria, in modo da poter fornire una difesa contro gli attacchi esterni, ma soprattutto una via di fuga in caso di sommosse interne. Usato come carcere nel corso del XIX secolo, il Castello presenta ampi rimaneggiamenti, ma si può cogliere con chiarezza l'impianto originale, caratterizzato dalla pianta quadrangolare con torri angolari e una torre-porta d'ingresso, inizialmente dotata di un ponte levatoio che consentiva di superare un fossato scavato attorno al perimetro delle mura.