D’abord mentionné en 1246 en tant que castellum brunenvels, l’ancienne forteresse a progressivement changé son apparence au cours des siècles. Ainsi, depuis le 14ème siècle, avec l’émergence d’armes à feu à plus grande portée, des remparts avec des tours de défense et des remparts ont été ajoutés.
Dans les siècles suivants, aussi, les propriétaires fidèles ont continué à compléter leur château. Après la destruction de la guerre de Trente Ans et l’incendie en 1679, la reconstruction a eu lieu sous le comte Heinrich Trajektin.
Au tournant des 17ème et 18ème siècles le château a été donné le caractère d’une résidence baroque par le comte Wilhelm Moritz.
À partir de 1845, le ”chasseur prince” Ferdinand fait reconstruire le palais dans le style néo-gothique sur les fondations de l’ancienne forteresse, qui sont encore conservées aujourd’hui, et le ”Salle des chevaliers” a été construit selon un modèle historique.
Après 1880, Prince George a finalement donné au château sa silhouette unique avec ses nombreuses tours pittoresques et ses baies vitrées.