Lungo la valle del Potenza in cima a una collina alta più di seicento metri si trova il castello di Pitino, un gruppo di costruzioni di epoca medievale sulle quali svetta una torre alta 23 metri che è visibile da gran parte delle terre sottostanti.
Strategicamente era la più importante fortificazione del sistema difensivo di San Severino, conteso anche da Cingoli, Montecchio, Camerino e Tolentino. Il suo possesso garantiva il controllo della via di comunicazione che dal mare portava verso l’interno delle Marche. Alla torre, probabilmente più alta in origine, si accedeva attraverso un sistema di cunicoli (ora sigillati) che passavano sotto le altre costruzioni. Era circondato da una cinta muraria di circa 400 metri, della quale restano ancora alcuni tratti e il varco d’ingresso.
Alcuni restauri sono stai fatti a beneficio della chiesa e della torre.