Впервые упомянутая в 1246 г. как castellum brunenvelsz, бывшая крепость на протяжении веков постоянно меняла свой облик. В XIV веке, с развитием огнестрельного оружия, были построены кольцевые стены с оборонительными башнями и укрепленными валами. В последующие века амбициозные строители постоянно совершенствовали свою крепость. После пожара 1679 года под руководством графа Генриха Траектина была проведена реконструкция.
На рубеже XVII-XVIII веков крепость приобрела черты барокко благодаря графу Вильгельму Мориц.
Начиная с 1845 года, Фердинанд, ”охотничий принц”, перестроил крепость в неоготическом стиле на хорошо сохранившемся фундаменте первоначального замка и реконструировал рыцарский зал на основе исторических записей.
После 1880 г. принц Георг придал замку его неповторимый силуэт с многочисленными живописными башнями и ориэлами.