La torre faceva parte di un castello molto grande e articolato che doveva costituire un baluardo importante del medioevo. Fu distrutto, con molta probabilità, in seguito al passaggio di qualche orda barbarica nel XIII sec. o forse successivamente.
Sul territorio di Palestro dominarono molte importanti famiglie, tra queste i Visconti e i Borromeo, ma molti dubbi rimangono ancora su chi furono davvero i potenti Signori di Palestro, ed il loro destino, a causa dell'assenza di documenti certi e riscontri reali, rimane avvolto del più fitto mistero.
Questo è comprovato, innanzitutto, dal fatto che, per un certo periodo, le due roccaforti appartennero alla medesima famiglia. In secondo luogo, perchè è una tradizione di cui si è parlato abbondantemente in paese e perchè pare che almeno una persona vi si sia addentrata negli anni successivi all'ultima guerra, nella parte iniziale del tunnel partendo da Vinzaglio.
Pare che sia abitata da qualche fantasma. Si racconta che i fantasmi facciano dei dispetti alla gente, come far cadare la neve alla torre sulle loro automobili.
Se non altro, è una leggenda simpatica.
Da ricordare l'ossario all'ingresso del paese che custodisce i resti dei soldati caduti durante la seconda guerra di Indipendenza (1859) che vide un trionfo dei franco piemontesi sugli Austriaci, guidati da Vittorio Emanuele II di Savoia.