Die Anfänge
Im 12. Jhdt befand sich in Waidhofen ein kleine Burganlage, über deren Größe man wenig weiß. Herrschaftszentrum für den Besitzkomplex im Ybbstal, den sowohl die Bischöfe von Freising als auch die Grafen von Peilstein beanspruchten, war die Burg Konradsheim.
Bald wurde die Herrschaft über die Ybbstaler Besitzungen jedoch zur Machtfrage, die erst durch das Aussterben der Peilsteiner 1218 endeten. Die Bischöfe nahmen die Verwaltung ihrer Besitzungen wieder selbst in die Hand. Bis heute dokumentiert das Mohrenwappen die enge historische Beziehung zuFreising.