La fondation de la commanderie des Templiers semble dater de la fin du 12^ème siècle, en relation avec une donation de Rainfroid I^er de Montpezat⁽¹⁾.

L'historien Antoine du Bourg cite Jourdain de la Contraria comme premier commandeur en 1161. Le 5 mai 1288, une donation de Guillaume Amanieu de Castelmoron, reçu au Temple, accroît le temporel avec les péages sur la route et sur le Lot (de moitié avec le prieuré de Fongrave) et les dîmes de Saint-Gervais et Saint-Avit.
Le généreux donateur fut reçu à sa demande "donat"⁽²⁾ de la maison et les Templiers lui promirent la sépulture après sa mort dans leur église "plus 5 messes par an, pour le repos de son âme en l'honneur des 5 plaies de Notre Seigneur".

Le premier bâtiment de la commanderie était rectangulaire, en pierre de taille, divisé par un mur de refend longitudinal, selon une étude archéologique de J. Pons et M. Daynes :" des éléments en élévation subsistent dans le mur est, les pièces sud du logis et le mur nord de l’église".

La commanderie est détruite par un incendie dans les dernières décennies de la guerre de Cent Ans (traces sur le mur est). Un nouvel édifice est bâti en briques entre 1485 et 1510, selon les datations affinées par les céramiques et la dendrochronologie : les commanditaires sont Bertrand de Gros (1475-1496) et Tannequin de Bussel (1498-1506).

Un premier ensemble de construction comporte un logis avec tour d’angle à l’est. Ce logis est ensuite doublé en profondeur côté ouest et pourvu d’une tour d’escalier en vis hors œuvre (module de brique moins épais) ; les fenêtres à moulures prismatiques ou à double cavet, les portes à montants arrondis et les cheminées adossées au mur de refend datent du tournant des 15^ème et 16^ème siècles.

Les travaux importants du logis précèdent sans doute le rattachement de Brulhe à la Cavalerie en 1508. Le Temple de Brulhes est rétabli en 1650. Une enceinte fortifiée par des tours et munie de canonnières ferme la cour et protège les dépendances (16^ème & 17^ème siècles).

Le quartier dit "du Fort" complétait la commanderie au sud. Les armoiries ont été bûchées à la Révolution. L’ensemble a été restauré récemment pour créer un centre d’accueil et d’hébergement sportif.

Voici les noms de certains commandeurs du Temple-sur-Lot:

1. 1161 - .... : Jourdain de la Contraria
2. 1256 - .... : Pierre Boyer
3. 1268 - 1281 : Raymond de Cantamerle
4. 1288 - 1295 : Bertrand (ou Bernard) de la Selve
5. 1298 - .... : Guillaume de Bernard