Selsø blev bygget i 1570’erne af adelsmanden Jakob Ulfeldt, som var en af rigets mægtigste mænd.
Herregården lå oprindelig på en holm i en sø med å-forbindelse til Roskilde Fjord, og her lå før den nuværende bygning et mindre middelalderligt borganlæg.
Ulfeldt-familien solgte Selsø i 1624 og efter skiftende ejere blev godset købt af den driftige adelsdame Berte Skeel i 1682. Meget tyder på, at hun har opholdt sig en del på Selsø, når hun ikke var i sit palæ på Kongens Nytorv i København. Da hun døde uden at efterlade sig arvinger overtog hendes nevøer og niecer hendes righoldige gods, og således endte Selsø i hendes niece Charlotte Amalie Skeel og dennes mand, Christian Ludvig von Plessens eje i 1721.
Christian Ludvig von Plessen ombyggede Selsø til dets nuværende barok-form. Kun ydermurene og kælderens hvælvinger står tilbage fra Uldfeldts renæssancehus. Interiørerne blev udsmykket efter alle kunstens regler med bemalede og marmorerede paneler, malede gulve og malerier af Hendrick Krock, tidens favoriserede kunstner, der også har udsmykket på Rosenborg, Fredensborg og Frederiksberg Slot.
I 1801 døde Christian Ludvigs barnebarn og arving, Christian Ludvig Scheel Plessen. Han havde heller ikke brugt Selsø, men hans enke Agathe Johanne, født von Qualen, flyttede ind og benyttede Selsø som enkebolig til sin død i 1829. I hendes tid blev den sydlige ende af huset omdekoreret i empire-stil med perlegrå paneler og fine franske, trykte tapeter.
Da Agathe døde blev huset forladt og stod indtil 1972 og forfaldt. Rummene blev tømt for møbler og blev brugt til opbevaring af korn, udrugning af fasaner, hundekennel, og til opbevaring af bistader og tørring af vasketøj for godsets ansatte. Denne brug skabte naturligvis forfald i rummene, men var samtidig med til at bevare huset, der (ganske mirakuløst) ikke blev revet ned som så mange andre herregårdsbygninger blev i slutning af 1800-tallet og begyndelsen af 1900-tallet.
I 1972 forpagtede ægteparret Bernhard Linder og Grethe Gunnar Nielsen den forfaldne hovedbygning og gik i gang med at restaurere den nænsomt med hjælp fra frivillige og i samarbejde med bl.a. Nationalmuseets bevaringsafdeling. Året efter åbnede Selsø som museum, og huset blev i 1995 overdraget til Den Plessenske Selsø Fond, hvorved museet blev en selvejende institution, der drives med midler fra billetindtægter og tilskud fra Frederikssund Kommune
Der er parkeringsmuligheder ved Selsø Kirke.
Der er mulighed for leje slottets lokaler til arrangementer samt reklame- og filmoptagelser. Kontakt Selsø Slot for finde informationer vedrørende dette.
