Situé en zone frontalière entre l'Auvergne et le Haut-Quercy, le bourg qui dépendait du Comte d'Auvergne a été donné aux vicomtes de Turenne en 1178. La ville s'ordonne autour de la chapelle de Sainte Spérie à partir du Xème siècle. La paroisse fut cédée en 1049 au prieuré de Carennac qui la conserva jusqu'en 1791.
Au XIIIème siècle la ville reçut du vicomte de Turenne coutumes et franchises. Elle fut pourvue d'un rempart en 1464 et connut la prospérité après les guerres de religion.
Elle en a gardé un ensemble de très beaux hôtels dans des ruelles pittoresques autour de la place du Mercadial, de la Maison des Consuls et de l'immeuble Lagarouste récemment restaurés. On y trouve de belles maisons à colombages, plusieurs demeures Louis XIII. Les superbes hôtels de Puymule et de Longueval du XVème siècle, ajoutent encore à la richesse architecturale du coeur de la cité.