Edificato nel 1061 da Roberto il Guiscardo divenne il centro del nucleo medioevale, che si veniva a costituire nel corso della dominazione Normanna, infatti fu centro amministrativo e di governo. Nel XII secolo, divenne prigione di stato, in cui furono rinchiusi tra gli altri il Vescovo di Agrigento, Gentile ed altri cospiratori contro il cancelliere Etienne de Perche. Nel 1090 divenne sede del governo comitale e nel 1115 municipio.

Le parti murarie si estendono lungo un ciglio di roccia che delimitava la costruzione dalla parte Nord Ovest e lungo le quali vi sono tracce di una porta d’ingresso. La costruzione fino al XVIII secolo, presentava un impianto planimetrico chiuso intorno ad una corte, dalla quale una scala conduceva ai piani nobili. Le murature, nelle quali ancora oggi sono presenti quattro varchi di finestre, sono composte da grossi blocchi di calcaree locale squadrati, presenti ancora nel cantonale.