Perché au sommet d'une colline de 600 m d'altitude, la vieille ville médiévale de Penamacor occupe l'emplacement d'une ancienne forteresse datant de l'époque romaine.

Au cours de la Reconquista, la région de Penamacor est conquise sur les musulmans par le roi Sancho 1^er qui en fait don aux Templiers vers 1190. Gualdim Païs, maître de l'Ordre au Portugal à cette époque entame alors des travaux de rénovation et de reconstruction de cette forteresse.

En 1199, Sancho 1^er octroie une charte établissant Penamacor comme cité. Cette charte sera confirmée en 1209.

Avec le développement de la cité, en 1292, Afonso III octroie à la ville le droit d'établir une foire. Sous le règne du roi Dinis, des travaux d'agrandissement de la muraille et la construction d'une tour prison sont entrepris. A la fin du 14^{ème siècle}, une barbacane est érigée pour compléter le système défensif du château.

Jusqu'au 17^ème siècle, Penamacor sera d'une importance stratégique assez importante et notament lors de de guerre de Restauration de l'Indépendance portuguaise⁽¹⁾.

En 1739, un accident fait exploser la tour de la prison alors utilisée comme poudrière, la détruisant complètement ainsi qu'une bonne partie du château. A partir de cet instant, le site déclinera rapidement et la majorité des fortifications restantes seront démantelées par les habitants qui récupèreront les pierres pour les ré-utiliser pour leurs maisons.