Ingemanns og Molbechs Huse
På hver side af hovedbygningen ligger et gult hus, eller rettere pavillon. Mod øst Ingemanns Hus og mod vest Molbechs Hus. Begge huse stammer fra det anlæg, som Laurids de Thurah byggede i 1736.
Thurahs plan
Oprindelig skulle det have været 4 pavilloner. I Den danske Vitruvius fra 1749 (Thurahs store arkitekturværk) er angivet en pavillon ved hvert hjørne af hovedbygningen. Den tredie pavillon lå ved kirkens østende. Den stod frem til 1861, efter at have været brugt til sygehus i over 30 år. Den fjerde pavillon har aldrig eksisteret - kun på papiret! Barokken, som jo er byggestilen, forlangte symmetri, og derfor skulle den tegnes ind. Hvis den var blevet bygget, ville den have ligget tværs over adgangen fra Klosterporten, og det havde været helt forkert.
Den tredie pavillon
Den tredie pavillon (Thurahs nordøst-pavillon) var i vestgavlen bygget sammen med kirkens sydlige korsarms østvæg. Ingemann kunne se over på denne bygning og også følge, da den blev revet ned i 1861, efter i en del år at have fungeret som Akademiets Sygehus. Ingemann døde året efter, og hans grav er placeret, hvor denne pavillon stod.
De to tilbageværende pavilloner, er altså de eneste tilbageværende rester af Frederik V's akademi. Husene er helt ens i plan og opbygning. Med afrundede hjørner, indgangsparti mod nord trukket lidt frem, hvilket også gælder for miderpari mod syd, og et mansardtag med kvistvinduer, virker bygningerne lette og elegante, og de er meget smukke eksempler på barokkens byggestil.
Begge huse var oprindelig tænkt som lærerboliger. B.S. Ingemann flyttede sammen med sin hustru Lucie Mandix ind i det østlige hus i 1822, og boede der frem til sin død i 186.. I de år kom mange af datidens kulturpersonligheder på besøg hos Ingemann. H.C. Andersen boede i flere perioder i gæsteværelset på førstesalen, og N.F.S. Grundtvig var også en hyppig gæst.
Molbechs Hus er opkaldt efter Johan Christian Molbech. Han kom til Sorø i 1772, og endte som professor i filosofi og matematik. Hans søn Chrsitan Molbech blev født i huset, og ham kender vi især som den store ordbogsforfatter og historiker.