"All'altro estremo del paese sorgono le vestigia dell'antico palazzo baronale, già appartenente alla famiglia Caraffa dei principi di S. Lorenzo che n'ebbero il possesso fino ai primi di questo secolo. Esiste ancora una torre cilindrica da un lato ed una quadra dall'altro, e la parte posteriore del castello vien giù a picco sul burrone del Calore.(De Giorgi)"

"Ad oriente ha la sua Rocca, o sia il Palazzo Baronale con una alta Torre di mirabile struttura. Tali Fortezze si edificavano in luogo alto vicino alle Mura, dominante la Terra, e che scopriva tutta la Campagna, per vedere se si invadeva de' Nemici, nella quale consisteva tutta la salute de' Cittadini ". Così il Di Stefano sul "Castello" di Felitto, la cui proprietà è attualmente frazionata tra diversi privati.

La sua posizione consentiva di esercitare adeguatamente le funzioni di difesa e di controllo. Alle spalle era protetto dalla rupe a precipizio sul fiume, su cui dava anche lo spiazzo del Belvedere; dal lato opposto dalle mura e dalle torri. Dal Belvedere, dal Mastio e dalla cinta muraria era agevole tenere sotto controllo le zone sottostanti.