
L'ultimo atto di interesse storico nel ducato di Milano riguardante la città di Abbiategrasso risale all'8 marzo 1523, quando il duca Francesco II Sforza donò metà dei propri possedimenti e della rocca della città al nobile Pietro Pusterla, decretando così la fine dell'interesse ducale per la corte abbiatense.
Nella primavera del 1524 l'imperatore Carlo V, che aveva ereditato il ducato di Milano alla morte dell'ultimo duca, sconfisse le armate francesi (che vantavano le medesime pretese sul milanese) nella battaglia di Romagnano. Il contingente francese si ritirò nella rocca di Abbiategrasso con a capo l'ammiraglio Guillaume Gouffier de Bonnivet. Abbiategrasso venne cinta d'assedio dalle truppe degli imperiali, che costrinsero i francesi a ritirarsi verso il Piemonte e da lì in Francia. Lo stesso imperatore Carlo V entrò in Abbiategrasso il 14 marzo 1533 sulla via per raggiungere e prendere possesso del ducato di Milano.
Il Ducato di Milano passò quindi sotto l'influenza e l'occupazione spagnola, che fece dapprima rafforzare le mura e poi demolire il castello di Abbiategrasso, che ormai aveva perso la propria funzione strategica con l'entrata in uso della polvere da sparo. La demolizione della struttura fu ad ogni modo solo parziale: il castello visconteo venne ridotto a semplice casa nobiliare, per poi tornare di uso pubblico a metà dell'Ottocento.
