Det er kun muligt at se slottet i forbindelse med arrangeret rundvisning.
Slottet er ikke åbent for offentligheden.
Hesselagergaard nævnes allerede i 1200-tallet i Kong Valdemar II's jordebog som krongods.
I 1419 ejedes den af Jac. Ottesen Bildt. Den arvedes af hans svigersøn Henrik Friis, hvis sønnesøn kansler Johan Friis opførte den nuværende hovedbygning, dér hvor det tidligere hus nedbrændte under grevens fejde. Han var en af de mest indflydelsesrige personligheder på Christian III's tid, og samtidig en berejst og dannet mand.
Den smukke stentavle over indgangsdøren angiver årstallet 1538. Om dette er begyndelsen- eller slutåret for byggeriet vides ikke. Huset var fra begyndelsen planlagt som et smalt langhus i ét plan, med et østlige tårn som den eneste udbygning
En rem i muren, ca. 50 cm. over salsetagens gulv, er formodentlig tagremmen fra det først planlagte tagværk. Da byggeriet genoptages, har man imidlertid ændret planer.
Mod syd opførtes det store trappetårn, hvor indgangsdøren nu sidder, med sin murede firløbstrappe som noget ganske nyt på det tidspunkt her i landet. Samtidig tilføjedes det vestre tårn. Langsiden af huset med de udragende vægtergange og de pragtfulde rundbuegavle bygges på. Disse har formodentlig deres forbillede i Venedig, og sås flere steder i Nordeuropa i den tidlige renæssance. De betegnedes også som "pyntegavle", idet de skulle give indtryk af et større hus end tilfældet egentlig er. Ser man godt efter, aner man inskriptionerne i de rundede sten mellem skoldehullerne, der tyder på et datidigt genbrug af sten fra kirkegårdene!
Hesselagergaard var dog ikke blot en værdig bolig for en af rigets mest fremtrædende mænd, den var samtidig en borg, der med tanke på den nyligt overståede grevefejde, var udformet med det bedst mulige forsvar for øje.
En port og to broer måtte passeres, før man nåede hovedbygningen, hvis mure på tre sider rejste sig fra søens vand. Den eneste indgang til hovedbygningen var en bred dør i trappetårnets vestside. Man måtte, for at nå denne, forcere en lille vindebro, der når den var trukket op, dannede en ekstra forstærkning til døren. Nichen og vindebroens lejer kan endnu iagttages, ligesom sporene af den karnap over døren, hvorfra man kunne genere ubudne gæster.
Inde i huset kan der i bunden af trappetårnet iagttages resterne af den gamle brønd og ovn (nu toilet i kælder), beregnet til brug i belejringstider, ligesom skydeskårene og skoldehullerne på vægtergangen fuldender indtrykket af et hus beregnet til forsvar. Johan Friis oprettede før sin død Danmarks første stamhus, han havde imidlertid ikke selv nogen børn, og Hesselagergaard forsvandt ret hurtigt ud af Friisernes eje efter hans død.
Hesselagergaard havde således forskellige ejere, inden den i 1904 købtes af kammerherre Castenskiold til Borreby. (Borreby var i øvrigt også bygget af Johan Friis). Han købte den til sin datter Bertha, der blev gift med baron Axel Blixen-Finecke. Hesselagergaard har siden været i familien Blixens eje. Den ejes i dag af Axel Blixen-Fineckes oldebarn, Henrik Blixen-Finecke.
