Le château est la plus grande forteresse de la France méridionale. Son existence est attestée dès 1080 lorsque Hugues de Castelnau entoure son domaine d'une haute enceinte. Vassaux du Comte de Toulouse, les Castelnau sont alors la plus puissante famille du Quercy, et se proclament "seconds barons de la chrétienté".

Le château fut le théatre de sanglants affrontements entre les barons et le roi Henri II d'Angleterre pendant la guerre de cent ans et aussi, lors de la croisade Albigeoise lorsque, en 1180, Simon de Monfort prend d'assaut la forteresse. Après l'extinction des Castelnau au XVIIIe siècle le château connait une déchéance progressive jusqu'à la fin du XIXe siècle.