Les premiers textes mentionnant l'existence d'un village à Bytów datent de 1113 et sont repris dans la chronique du "Gallus Anonymus"⁽¹⁾. Ces textes mentionnent la prise du "castrum Bitom" par l'armée du roi de Pologne Bolesław III Krzywousty qui l'intègre à la principauté de Poméranie. Vers 1176, on y constuit une église qui est rattachée à l'évêché de Kamień Pomorski. A la fin du 13^ème siècle, cette région est rattachée au Brandebourg germanique.

En 1321, des textes mentionnent son nom comme "Bütow" lorsque le Prince Warcisław IV⁽²⁾ donne ce territoire ainsi que tous ses revenus à son maréchal, Henning von Behr⁽³⁾. Quelques années plus tard, en 1329, le fils de Henning von Behr cède ses droits sur la ville et ses revenus à l'Ordre Teutonique, devenu nouveau maître de Poméranie au début du 14^ème siècle, contre une rente de 800 dinars.

En 1335, l'Ordre Teutonique fait construire un presbytère dans le village qui gagne en importance. En 1346, le Grand Maître Heinrich Dusemer octroie la charte de ville à Bütow en vertu du droit de Kulm⁽⁴⁾. A cette époque, Bytów est déjà le siège d'une commanderie teutonique, car son commandeur est un certain Albrecht von Leesten⁽⁵⁾.

En 1390, les Chevaliers Teutoniques commencent la construction d'un château, sans doute sur l'emplacement de l'ancien gród⁽⁶⁾ conquis par Bolesław III Krzywousty sur une colline située au sud-est de la ville. Ces travaux sont supervisés par Nikolaus von Fellenstein⁽⁷⁾, un des grands architectes de l'Ordre, et terminés vers 1405.
Dès sa création, le château a été non seulement utilisé par l'Ordre comme siège administratif d'une de ses commanderies, mais également comme base militaire pour la surveillance de sa frontière⁽⁸⁾, et comme hostellerie pour les chevaliers occidentaux désirant rejoindre Malbork.

Le château est construit sur un petit promontoire entouré sur trois côtés par un petit cours d'eau.
Il suit un plan rectangulaire d'une dimension approximative de 49x70 m.
Comme tous les autres châteaux teutoniques de la région, celui-ci est aussi construit en briques rouges sur des soubassements de moraines. Trois angles sont munis de tours rondes, tandis que le quatrième est occupé par le donjon carré.
Dans l'aile nord-ouest, on a érigé un bâtiment de trois étages avec des caves. C'était le bâtiment le plus important du château. Il comprenait le logis du commandeur, le réfectoire, la chapelle et les entrepôts à l'étage supérieur.
Dans l'aile sud-ouest se trouvaient les cuisines avec leurs dépendances.
La porte principale se trouvait dans le mur nord-est. Cette porte était protégée par un large fossé et un pont-levis.

En 1410, après la défaite de l'armée teutonique à Grunwald, le château est occupé par l'armée polonaise, mais est restitué l'année suivante à l'Ordre Teutonique après la signature du traité de Toruń⁽⁹⁾.

Pendant la guerre de 13 ans⁽¹⁰⁾ le château est à nouveau conquis par les armées polonaises et en 1466, après la signature du Deuxième Traité de Toruń⁽¹¹⁾, le roi de Pologne Casimir IV⁽¹²⁾ le donne en fief au duc de Poméranie, Eryk II⁽¹³⁾.

Au début du 16^ème siècle, les fortifications du château sont aménagées pour l'usage de l'artillerie et des bastions en terre sont érigés tout autour.
Au 17^ème siècle de nouveaux bâtiments, tels une boulangerie et une brasserie sont aménagés dans le château.

Avec la mort en 1637 de Bogusław XIV⁽¹⁴⁾, dernier représentant de la dynastie des Greifen (ou Gryfici), le château retourne dans le giron de la couronne polonaise qui en fera le siège de son administration pour la ville.

En 1656, au cours de la longue guerre entre la Pologne et la Suède⁽¹⁵⁾, le château a été en grande partie détruit. En vertu des traités de Welawa et de Bydgoszcz⁽¹⁶⁾ signés en 1657, toute la région de Bytów et de Lębork sont cédées à l'électeur de Brandebourg, Frédéric-Guillaume I⁽¹⁷⁾.

Au 19^ème siècle, le château est converti en tribunal et en prison.
Une première restauration de l'ensemble a été réalisée dans les années 1930-1939.
Finalement, le château a été reconstruit par étapes entre 1957-1962 et 1969-1990. Actuellement, il est occupé par un hôtel, un restaurant, une bibliothèque et le musée rural de Cachoubie Occidentale