Hugues de Payns et ses premiers compagnons s'étaient dans un premier temps donnés comme mission de protéger les pèlerins qui voulaient venir se recueillir au Saint-Sépulcre à Jérusalem.
Pour que cette protection soit efficace, ils ont décidé d'assurer la garde du défilé le plus dangereux, connu dans les chroniques sous le nom de "Le Détroit" et qui longeait la côte entre Césarée et Haïfa.

A un endroit du rivage, ils ont construit une tour de garde sur un tertre rocheux. Cette tour sera l'assise autour de laquelle les Templiers construiront une de leur forteresse les plus considérables. La tour primitive sera intégrée dans l'angle sud-est de la première rangée des fortifications de la forteresse.

En 1218, les Templiers, aidés des Teutoniques et de Gauthier d'Avesnes⁽¹⁾, fortifient la position de la tour dite du "Détroit" ou de la "Pierre Encise".
Au cours de leurs travaux, ils découvrent les fondations de murailles antiques sur lesquelles ils décident de monter les fortifications de leur nouvelle forteresse. Ils découvrent aussi plusieurs sources d'eau potable ainsi que d'autres débris de murailles dont ils vont récupérer les pierres pour leur propre usage.

Après la première ligne défensive, les Templiers érigent une seconde muraille sur toute la largeur de l'isthme. Cette muraille est protégée par un fossé et renforcée de trois saillants carrés. A l'extrémité sud, la porte d'entrée du château s'ouvre dans un renfoncement qui fait face à la mer.
Juste derrière cette seconde muraille, deux énormes tours barlongues, bâties avec de gigantesques blocs de pierre et reliées par une courtine, assurent la défense de la chaussée menant à la seconde porte, située, celle là, au nord de l'isthme.
Ces deux énormes tours sont constituées de salles voûtées sur deux étages, et surmontées d'une terrasse crénelée. Le sous-sol est quant à lui occupé par de vastes caves et des magasins.

A l'arrière de ce système défensif, s'ouvre une grande esplanade entourée de plusieurs bâtiments défensifs, murailles, saillants. Le sous-sol de ces bâtiments renferme également divers magasins et entrepôts.

Du côté sud de l'esplanade, vers la moitié de sa longueur, s'éleve la chapelle hexagonale, qui selon Jacques de Vitry⁽²⁾, a du être un des plus beaux spécimens de l'architecture gothique en Orient. Cette chapelle avait un plan de construction à peu près identique à celui de la chapelle templière de Laon.

Tout à l'ouest du promontoire, se trouvaient les installations portuaires qui permettaient le ravitaillement du fort et le débarquement des marchandises.
Des magasins et entrepôts ont également été construits autour de ces installations.
Quant aux bâtiments réservés à l'usage des Templiers, ils étaient construits à côté de l'église, mais ont complètement disparu.

En 1219, dès la fin de sa construction, le sultan Malik al-Mu'azzam Musa⁽³⁾ qui venait juste de conquérir la place forte de Césarée, tente en vain d'assiéger la forteresse que les arabes nommaient aussi "Ateleyt".

En 1229, l'empereur germanique Frédéric II, estimant que le Château Pèlerin conviendrait parfaitement à son usage pour en faire une de ses places fortes sur la côte, tente de s'emparer du château par surprise.
Il pénètre avec sa suite dans l'enceinte et somme au commandeur du Temple de lui remettre la place sans tarder. Les Templiers, loin de se laisser intimider par l'arrogance de l'empereur, verrouillent les portes, s'arment et déclarent que si l'empereur ne quitte pas immédiatement les lieux, il sera emprisonné.
Frédéric II, fulminant de rage contre l'Ordre doit obtempérer et quitter les lieux.

En 1291, après la chute d'Acre, la citadelle est abandonnée par ses défenseurs et tombe ainsi aux mains des musulmans qui la démantèlent aussitôt.