Voor het eerst genoemd in 1246 als castellum brunenvels, veranderde het voormalige beschermende kasteel door de eeuwen heen van uiterlijk. Zo waren vanaf de 14e eeuw, met de komst van langeafstandsvuurwapens, de eerste toevoegingen ringmuren met verdedigingstorens en -wallen.
In de volgende eeuwen hebben ambitieuze bouwers hun kasteel uitgebreid. Na de vernietiging van de Dertigjarige Oorlog en de brand in 1679 werd het herbouwd onder graaf Heinrich Trajektin.
Op het keerpunt de 17e en 18e eeuw gaf graaf Wilhelm Moritz het kasteel het karakter van een barokke residentie.
Op de funderingsmuren van het oude kernkasteel, die tot op heden bewaard zijn gebleven, liet “Jägerfürst” Ferdinand het kasteel vanaf 1845 in neogotische stijl herinrichten en werd de “Ridderzaal” volgens het historische model gebouwd.
Uiteindelijk gaf prins Georg na 1880 het kasteel zijn huidige onmiskenbare silhouet met zijn vele pittoreske torens en erkers.