Van de niet-kerkelijke gebouwen van de oude pastorie is alleen een oude "boerenburcht" overgebleven. In de middeleeuwen bouwde de plattelandsbevolking versterkte huizen, zogenaamde "Steinwerke" of "Wehrspeicher", als bescherming tegen plunderende bendes. In tegenstelling tot de vakwerkhuizen die in die tijd gebruikelijk waren, werden deze volledig van steen gebouwd en waren dus brandvrij. In geval van nood werden alle waardevolle schatten vervoerd: Slacht, eieren, boter, graan, brood, kleding, linnen, enz. en verdedigden zich hier. Dergelijke steenfabrieken bestonden al op Saksische boerderijen in de 9e eeuw.

Het landgoed Stapelage was een verleidelijk doelwit voor rovende en plunderende horden, want het lag niet ver van de grote kuurweg door het Teutoburgerwoud, de Dörenschluchtkloof en direct aan de ingang van de Stapelager Schluchtkloof. De Meierhof met kerk en pastorie werd omgebouwd tot een verdedigingswerk. Een stenen vesting (Bauernburg) bevond zich links tegenover het hoofdhuis van het landgoed. Ten oosten van de molenvijver stond een versterkte molen. Een andere boerenburcht is tot op heden bewaard gebleven en staat, zoals reeds vermeld, op de pastorie. Het is een gebouw met twee verdiepingen, omsloten door dikke muren. Er zijn verschillende schietgaten (openingen die breed zijn aan de binnenkant en een smalle spleet vormen aan de buitenkant) in het metselwerk.