Avlsgården
Øst for Hovedbygningen ligger Avlsgården - en stor trelænget gård. Den er opført i 1820 til brug for økonomen, heraf også det tidligere navn Økonomigården.
I Økonomigården boede økonomen, som også blev kaldt for "spiseværten". Spiseværten fik stillet bygningerne og et jordstykke til rådighed, og så skulle han (eller hun) sørge for bespisning af elever og personale. Spiseværten drev altså landbrug og hvad der blev produceret af grøntsager, kød mv. skulle bruges på skolen. Aflønningen var i form af en lille kontant pengeløn og et beløb i kostpenge for hver individ, der blev bespist. I flere år var også oldfruefunktionen lagt ind under økonomfunktionen. Derudover omfattede spiseværtfunktionen at fungere som husbond for tjenestefolkene, sørge for renlighed og orden på skolen.
I 1919 ophørte spiseværtfunktionen, og bygningerne skulle ikke længere bruges som del af landbrug. Det muliggjorde en ombygning af en del af lokalerne. I begyndelsen af 1920'erne fik daværende tegnelærer maleren Siegfred Neuhaus indrettet et stort, lyst lokale med ateliervinduer mod nord. Senere er kommet et ekstra teorilokale til billedkunstundervisningen, samt mørkekammer, keramikovn mv.
I vestenden af gården er i dag et undervisningslokale. Fra 1966 var der indrettet musiklokale her. I dag foregår musikundervisning i to store lokaler i gårdens østlige del. Her er også indrettet lydstudie og lydisolerede øverum.
Skolens varmeanlæg er placeret i en sidebygning i gården. Sådan har det altid været. Der kom centralvarme i 1938, men lige frem til naturgas blev installeret i 1985, fyrede man også med brænde, leveret fra Stiftelsens skove. I 2022 overgik man til fjernvarme.
Ombygning af Avlsgården til samlingssal
I maj 2025 meddelte Stiftelsen, at der takket være generøse donationer fra Den A.P. Møllerske Støttefond, Sorana A/S v. Lorentz og Aase Jørgensen var banet vej for ombygning af Avlsgården og hermed indretning af en længe savnet samlingssal til Akademiets elever, Det Nationale Talentplejecenter (ASTRA) i Mærsk Mc-Kinney Møller Videncenter og Sorøs kulturliv i bred forstand. Det nye byggeri i de historiske rammer vil koste godt 100 millioner kroner, hvor Den A.P. Møllerske Støttefond og Sorana A/S hver bidrager med 44 millioner kroner. Den 10. november 2025 kunne Stiftelsen afsløre vinderen af arkitektkonkurrencen, arkitektfirmaet entasis. Ombygningen af Avlsgården forventes afsluttet i løbet af 2028.
Guls
Lige uden for Avlsgården ligger det gule palæ, kaldet "Guls". "Palæ" er en fin ramme for det bygningen altid har været brugt til, nemlig toiletter. På gamle fotos kan man se døre i hele facaden, hvilket antyder anvendelsen. Indtil 1960 var det de eneste toiletter, for de elever, der boede i Hovedbygningen, og derudover også toiletter til brug for alle i skoletiden. Moderniseret indenfor de senere år.
Det ukendte badebassin
Hvad mange ikke ved, er at der under gulvet i Avlsgårdens vestende, findes et badebassin. Denne badeanstalt med badstue og bassin med rindende vand og 5 brusere blev indrettet i 1896 til varmbadning, både for alumer og dagelever. De skulle møde hver 14. dag, for at få bad. Der blev krydset af, for at holde styr på, at eleverne mødte op.