Les premières mentions de l’installation des Templiers à La Cavalerie datent de 1180, lorsqu’il est mentionné l’existence de l’église dans le village fondé par l’Ordre. Après l’édification de cette église, les Templiers érigeront une maison forte comme ils l’ont fait à Sainte Eulalie.

De ce château, il ne reste rien. Celui-ci se trouvait sur la petite place située à côté de l’église. Seules quelques maisons, dont une possédant une tourelle d’escalier en saillie se trouvant sur cette place, ont des vestiges de ce château dans leurs structures et fondations.

Tout comme La Couvertoirade et Sainte Eulalie, La Cavalerie sera fortifiée vers 1435, sans doute par le même maître maçon, Daurde Alaus, qui a fait ériger les murailles de Sainte Eulalie.

Ces fortifications formaient une sorte de trapèze avec une tour à chaque angle. Le clocher de l’église faisait partie de ces tours et fermait le quadrilatère au sud est.
Vers 1580, les murailles, à l’exception des tours, ont été démantelées.

Commanderie agricole, La Cavalerie comptait un cheptel de 1725 moutons selon l’inventaire fait en 1307 au moment de l’arrestation des Templiers.