Durante il 1700 passò ai duchi del Chiablese i quali operarono altre trasformazioni, dividendo il complesso in due corti. Nel 1764 passò ai Savoia e fu notevolmente ricostruito.

Nell’Ottocento divenne, più che altro, un luogo di villeggiatura. Vi trascorse molti soggiorni Carlo Felice, ed in seguito la regina Maria Cristina di Francia, la quale vi collezionava antiche reperti etruschi.

Anche del castello di Agliè, come per il forte di Exilles, si racconta che fu carcere della Maschera di Ferro.