La maison de Vaour est fondée vers 1160 par l'Ordre du Temple. En effet, à partir de 1140, de nombreux seigneurs de la région, dont ceux de Penne⁽¹⁾, de Montaigut⁽²⁾ et les vicomtes de Saint-Antonin⁽³⁾ lèguent de nombreuses terres aux Templiers dans la région.

Ils étaient exemptés des droits et redevances seigneuriales, en échange de quoi ils assuraient aussi la protection des populations alentours. Lors de la croisade contre les Albigeois, ils gardèrent leur neutralité tandis que Penne résistait à Simon de Montfort.
Les Templiers se comportaient comme des propriétaires terriens et ils maîtrisaient l'agriculture. Tous les produits de leurs ventes servaient à financer leurs opérations en terre Sainte.

A La dissolution de l'Ordre, ce sont les moines de l'Ordre de Saint Jean de Jérusalem qui prennent possession de la commanderie de Vaour. Elle subit des remaniements architecturaux au cours du 15^ème siècle comme en témoignent les fenêtres à meneaux.
Le village sera mis à sac par les protestants en 1574, et enfin la commanderie sera cédée à la municipalité après la révolution.

Le château de la commanderie de Vaour, "la maison" comme l'appelaient les Templiers, se situe sur une butte ancienne.
L'enceinte entourant les bâtiments forme un trapèze. Le portail principal de la maison est orné d'une pierre armoriée datant de 1618.
Une première cour s'ouvre sur la grange du château. Un niveau en contrebas par lequel on accède par un plan incliné permettait l'accès des chevaux.
Au rez de chaussée se trouvaient les cuisines et dans la pièce adjacente, le réfectoire.

Le donjon du château haut de 20 mètres abritait la chapelle au rez-de-chaussée.
On remarque dans la partie haute, une couronne de "corbeaux", et des platines qui servaient autrefois de supports pour des hourds à mâchicoulis. Une tour octogonale dessert les appartements et notamment celui du commandeur situé au premier étage.
Une bâtisse adjacente à la chapelle, en constitue la nef et remplaça l'église du village au milieu du XVII ème siècle, à la suite de son incendie.
Le haut du donjon, originalement plat fut surmonté d'un toit et d'une guérite ornée d'une croix de pierre. Un coté du donjon s'ouvrait par un portique sur le cimetière des chevaliers.
Les seigneurs alentours à la suite des dons qu'ils faisaient à l'ordre, obtenaient le privilège d'y être inhumés. C'est par-là que les villageois accédaient à la chapelle.
L'arrière de la grange est soutenu par neufs contreforts de taille imposante. La surface totale de la commanderie était de 2500 m² dont 1100 m² pour les bÄtiments.