Im Osten der Stadt und im 11. Jh. noch vor der Mauer stand der vom Domkapitel errichtete Stadelhof, Sitz der Ministerialenfamilie von Stapel. Im Laufe der Jahrhunderte wurde dieser Hof mehrfach verändert bzw. neu er- und überbaut, während die Stadt sich nach Südosten ausdehnte (und dabei das vorgelagerte Dorf Aspethera ‚schluckte‘).
Haus Nr. 4 entstand spätestens im 13. Jh. und wurde ab 1681 als Armenhaus genutzt. 1851 baute Zimmermeister und Bauunternehmer Andreas Todt aus Backsteinen das zweigeschossige Wohnhaus Nr. 10. In den 1860er Jahren wurde die weiterhin lockere Bebauung genutzt, um dem Haus entlang der Badengasse ein (kellerloses) Wirtschaftsgebäude mit Ställen und Werkstätten anzufügen. In den 1950er Jahren war hier eine Zimmerei ansässig.
An der das Grundstück im Osten begrenzenden Giersmauer erbauten die Herren von der Asseburg um 1730 zwei Mietshäuser (heute Nr. 13/15). Im Laufe der Jahrhunderte wurden diese außen und innen mehrfach umgebaut und neu gestaltet.
Von der mittelalterlichen Bebauung blieb einzig das Gebäude Am Stadelhof Nr. 4 erhalten, nachdem dieses Stadtviertel durch den Ükern-Stadtbrand von 1875 und die Zerstörungen des Kriegsjahres 1945 stark in Mitleidenschaft gezogen war. Auch
Nr. 4 wurde zerstört, nur der historische Keller blieb erhalten. 1955 baute man das Haus neu. Dabei erhielt es ein zusätzliches Stockwerk. Der Dachstuhl von Haus Nr. 8 wurde um 1950 aufgestockt und ausgebaut.
Bis 2014 war die (1946 gegründete) Volkshochschule Paderborn in Räumen des ehemaligen Kaufhauses Steinberg & Grünebaum am Rathausplatz, am Marienplatz und in der ehemaligen Busdorfschule ansässig. Um Geschäftsstelle und Kursräume zentral zu vereinen, zog man an den Stadelhof um. Die alten Gebäude hatte bis 2004 ein Antiquitätenmarkt genutzt. Knapp 2000 qm Fläche standen zur Verfügung, doch die vernachlässigte Bausubstanz war marode. Die Planungen gingen über eine Sanierung weit hinaus. Drei Gebäude sollten unter Wahrung der historischen Bausubstanz so umgebaut werden, dass sie den Erfordernissen des modernen VHS-Alltags genügen konnten.
Haus Nr. 8 wurde 2012/13 zur Geschäftsstelle umgebaut, wobei die innere Aufteilung bewahrt blieb. In einem hinter Nr. 8 in den 1860er Jahren entstandenen Wirtschaftsgebäude richtete man 2012/13 Kursräume für die VHS ein, die einstige Obergeschossdecke wurde entfernt. Auf der Südseite erhielt das Gebäude durch die der ursprünglichen Außenmauer vorgebaute Stahl-Glas-Fassade eine Galerie. In einem Treppenhaus hängt die neongrüne Leuchtreklame, die bis 2014 den VHS-Standort am Rathausplatz markierte.
2012-2014 erfolgte der Umbau des Doppelfachwerkhauses Giersmauer Nr. 13/15, wobei man die Fassade so weit wie möglich dem klassizistischen Ursprung anglich. Das Gebäude gehört seitdem als „Selbstlernzentrum“ zu dem historischen Ensemble, in dem die VHS Paderborn residiert.
