Spectaculaire, la butte rocheuse qui surplombe le cours de la Bave a été occupée très tôt, dès le Moyen-Age. Site et seigneur portaient déjà le nom de Sérénus, duc d'Aquitaine, père de Sainte-Spérie martyrisée au VIIIème siècle. Imposantes, les ruines actuelles donnent encore l'image du castrum de "Saint-Séré" à la fin de la guerre de 100 ans. Une vaste enceinte elliptique protège le corps de logis seigneurial (disparu et remplacé par un bâtiment moderne), hautement encadré par deux tours carrées, chacune défendant une extrémité de la plate-forme: l'une élevée au XIIIème siècle, pourvue de contreforts (hauteur 25 m), l'autre du XVème plus forte et plus haute (35 m). Sur le flanc est, en contrebas, une seconde muraille qui abrite les maisons des chevaliers, telle la maison romane (actuel presbytère).
Au pied de la butte, se trouve l'église paroissiale d'origine romane placée sous l'invocation de St Laurent, de là viendra le nom moderne de la commune. En effet, à partie des XVIème - XVIIème siècles, le castrum est abandonné comme siège du pouvoir seigneurial, et la ville développée à ses pieds, s'approprie le nom de Saint-Séré...
Le château, un des centres de la résistance lotoise pendant la dernière guerre, a été acheté par Jean Lurçat rénovateur de la tapisserie contemporaine. Mme Lurçat, à la mort de son mari, en fit don au département du Lot, lequel y a depuis crée un atelier-musée ouvert au public. De nombreuses oeuvres de l'artiste y sont présentées dans le cadre inchangé où il vécut.