Det havde ellers set sort ud for svanen – den samlede danske ynglebestand var på grund af hensynsløs jagt i midten af 1920’erne reduceret til 3-4 par i hele landet – men fra midten af århundredet og frem til vore dage voksede bestanden støt for nu at udgøre ca. 5000 par på landsbasis. De soranske knopsvaner hører egentlig ikke med i denne statistik, for de var som nævnt ansatte og i øvrigt behørigt stækkede af en dyrlæge (på den gammeldags facon ved afsavning – under bedøvelse – af den yderste del af vingen), så deres muligheder for selv at vælge nyt opholdssted var umuliggjorte. Men de havde det også godt i Sorø. Før vinterens komme blev de gennet op i Gartnergården – undertiden kom de af egen drift, hvis de syntes, at Stiftelsen gik over tiden – og der var der indrettet et stort bassin til dem med indlagt varme fra skolens centralvarmeanlæg – et forhold, der i øvrigt undertiden gav anledning til stridigheder mellem skolens påholdne økonomiinspektør K.K. Corneliussen og akademigartneren – den stridbare professor Georg Georgsen.
Svanerne behøvede nu ikke at gøre sig bekymringer, for professor Georgsen fik altid sin vilje, så svanerne nød godt af de luksuriøse forhold i rigtig mange år. Fuglene blev fodret (med bl.a. rugbrød fra Sorø Brødfabrik og med korn og klid) og de fik skiftet vandet i bassinet en gang om ugen, så der var nok at se til for akademihavens mange medarbejdere, blandt hvilke specielt skal nævnes Emil Lund, der hver eneste dag svanesæsonen igennem anvendte 3 timer daglig på fuglenes pasning. Når foråret nærmede sig fik medarbejderne endnu mere at lave, når svanerne begyndte at danne par. For at undgå de ofte blodige slagsmål mellem svaneparrene var det nødvendigt at holde de forskellige par adskilt med hønsenetafskærmninger indtil man endelig kunne få hele flokken sendt i Søen og få lidt fred henover foråret og sommeren.
Herregårdssvanerne klarede sig i mange år fint i Sorø – de fik unger og bestanden holdt sig ved naturlig afgang nogenlunde konstant. Men på et tidspunkt begyndte de vilde svaner at kaste deres øjne på bestanden i Sorø Sø og det kom til drabelige kampe svanerne imellem, hvor de soranske svaner i kraft af, at de ikke kunne flyve, let blev underkuet af de vilde svaner, der ofte havde held til at fordrive dem fra søen så de undertiden af private blev fundet forkomne og kvæstede på land.
Enden på det hele blev, at man måtte opgive svaneholdet. Man ønskede naturligvis ikke at aflive dyrene, men valgte i stedet den løsning at flytte svanerne til den dengang privat ejede lokalitet Houet i Kalundborg Inderfjord, hvor man mente de ville kunne få et fristed blandt områdets øvrige svaner.