Biblioteksbygningen
Næst efter kirken og Klosterporten, er biblioteksbygningen en af de ældste bygninger på Akademigrunden, og den eneste bevarede bygning fra Christian IV's tid.
Siden Christian IV's tid er bygningen blevet brugt som bolig for ringer og graver ved kirken, og som ting- og arresthus. Fra 1861 og ca. 100 år frem blev stueplan, hvor der nu er læsesal brugt som kontor for Stiftelsen Sorø Akademis lokale forvaltning.
I 1861 blev 1. salen bygget på, og biblioteket flyttet over i bygningen. Indtil da havde biblioteket ligget i Hovedbygningen, men da der var brug for mere undervisningsplads besluttede man at flytte biblioteket. Bygningen rummer nu et uddannelssbibliotek i stueplan og et forskningsbibliotek på førstesalen.
Bygningen som boldhus
Da Christian IV oprettede sit ridderlige akademi i 1623, skulle der oprettes boldhus og ridehus til de ridderlige idrætter. Ridehuset lå i nærheden af kirkegårdens østmur. Ridehuset blev fjernet i 1655 og flyttet til Antvorskov. Boldhuset blev på begyndt i 1625 og stod færdigt i 1628. På Resens tegning fra ca. 1655 ses Boldhuset med nr. 13 - bygning nr. 2 til venstre for Klosterporten nederst i billedet. Udgangspunktet for bygningen var boldhuset på Kronborg. Boldhuset i Sorø skulle ligne, men murmesteren var ikke omhyggelig nok med måltagning, så det blev bygget om, så det ved indvielsen havde de korrekte mål, nemlig 34 m langt og knap 12 m bredt. Ydermere går historien på, at bygningens indvendige mål er identiske med målene på boldhuset på Hampton Court Palace i London. Christian IV's søster Anne var gift med den engelske kong James I, og Christian IV har sikkert ønsket et boldhus, der lignede dette. I boldhuset spillede man en form for tennis, hvor man brugte vægge og loft som bande - lidt lige som squash. Spillet dyrkes stadig i England under betegnelsen "klassisk tennis" - eller som englænderne kalder det "Real tennis".
At Christian IV er bygherre for boldhuset vidner en sandstenstavle med kongens kronede monogram om. Tavlen sidder ude på bygningens vestgavl mellem vinduerne på 1. salen. Gaden lige udenfor Klosterporten hedder stadig Boldhusgade.