Une dizaine d'années après leur arrivée sur les terres de Chełmno⁽¹⁾, les chevaliers Teutoniques commencent la conquête des terres des tribus Prusses situées à l'est de la Vistule. Vers 1240, après de féroces combats, ils s'emparent d'une place nommée "Lecbark". Endroit d'importance stratégique, l'Ordre y fait construire un poste avancé doté d'une tour de guet en bois.

Suite à sa politique de contrôle des nouveaux territoires conquis, l'Ordre teutonique transfére ce village sous l'autorité de l'évêque de Warmie.

Rapidement, un nouveau village s'installe à proximité de ce fortin, et en 1308, Eberhard de Nysa⁽²⁾, évêque de Warmie, octroie le statut de ville à cette colonie et favorise l'arrivée et l'installation de nouveaux colons venus de Silésie.

Dans la deuxième moitié du 14^ème siècle, l'évêque fait débuter les travaux de construction d'un château en briques pour y établir le siège de son évêché.
Le château est érigé sur un petit promontoire au confluent de deux rivières, la Symsarna et la Lyna. La construction se fait sur le plan classique d'un quadrilatère comprenant un château et une basse-cour.

La première phase de construction du château se déroule entre 1350 et 1355, sous la direction de l'évêque Jean de Meissen⁽³⁾. Ses successeurs, Jean Stryprock⁽⁴⁾ et Henry Sorbom⁽⁵⁾ poursuivront les travaux.

A la fin du 14^ème siècle, le château, qui représente un carré presque parfait de 48m de côté, est pratiquement terminé. Les différentes ailes sont aménagées pour répondre aux besoins du statut du château avec un dortoir, une chapelle, les appartements de l'évêque, une salle capitulaire, un réfectoire, mais aussi des greniers, des caves, une brasserie, des cuisines, une boulangerie, une armurerie, une salle de gardes,...

Trois des angles du château sont surmontés de petites tours carrées. Dans l'angle nord-est, se trouve une grosse tour saillante qui domine l'ensemble. Un mur crénelé recouvert d'un toit faisait la jonction entre ces différents éléments. Des douves imposantes complétaient le système défensif du château.

Parallèlement au développement du château, la cité s'étend également et s'entoure d'imposantes fortifications de plus de 1000 m de longueur qui en font l'un des endroits les mieux fortifiés de Prusse. Ces remparts étaient constitués d'un mur de 5m de haut, de plusieurs tours de guet et de portes fortifiées. Différents travaux de rénovation et d'amélioration ont augmenté la hauteur des murs jusqu'à 7m.

La première guerre⁽⁶⁾ entre l'Ordre teutonique et le roi de Pologne a relativement épargné la Warmie et le château de Lidzbark. La seconde guerre⁽⁷⁾ entre l'Ordre et la couronne polonaise aura un tout autre impact sur la ville et le château.

Assiégé en bonne et due forme, l'évêque Francis Kuhschmalz⁽⁸⁾ doit se résoudre à remettre le château aux troupes polonaises qui y laisssent une garnison de mercenaires tchèques.

En 1461, l'évêque Paul Legendorf⁽⁹⁾ récupère le siège de son diocèse, mais reste sous la protection du roi de Pologne avec qui il signe un traité de paix indépendant en 1464. L'Ordre Teutonique viendra mettre le siège devant le château, mais ne parviendra pas à y pénétrer. Le traité de Toruń signé à l'issue de cette guerre attribuera toute la Warmie à la couronne polonaise.

En 1520, au cours de la dernière guerre⁽¹⁰⁾ entre l'Ordre et la Pologne, le château est à nouveau assiégé par l'armée teutonique, mais la défense héroïque de la garnison polonaise empêche sa capture.

Après ces périodes de guerre, le château restera siège de l'évêché de Warmie et chacun de ses occupants le transformera pour arriver au château que nous connaissons actuellement.