Le domaine des Andrivaux était probablement occupé par une petite communauté de moniales bénédictines sans doute depuis le 10^ème siècle. Cette communauté a occupé les lieux pendant près de deux siècles, mais déclinait de façon inéluctables.

On ne sait pas exactement pourquoi les religieuses ont été contraintes d'abandonner le domaine, mais toujours est-il qu'en 1139, l'évêque de Périgueux, Geoffroi 1^er de Cauze⁽¹⁾, donne à l'Ordre du Temple l'ensemble de la paroisse des Andrivaux avec l'ancien couvent des bénédictines où l'Ordre établira le siège de la commanderie.

Peu de temps après cette donation, les archives ne gardent la trace que de quelques dons peu importants au 12^ème siècle. Les donations les plus importantes, en tout cas celles qui sont conservées dans les archives, semblent arriver dans la première moitié du 13^ème, avec en 1228, une importante donation faite par le chevalier Bertrand de Joffre (ou de Geoffroy) et de son frère Guillaume de l'ensemble de leurs droits sur le moulin de Chambon⁽²⁾. Cette donation est faite en présence du comte de Périgord Archambaud II⁽³⁾, d'Hélie de la Barthe, précepteur de l'Ordre en Périgord et de Guillaume de "Traulega", commandeur des Andrivaux.