Valløs historie kendes tilbage til 1300-tallet. Vallø Slot blev opført af Mette Rosenkrantz, som i 1586 afsluttede bygningsværket med en vest- og sydfløj og de 2 karakteristiske tårne. De øvrige fløje på Vallø Slot blev opført i 1600- og 1700-tallet.
I 1893 brændte Slottet, men ydermurene modstod ilden og kunne fortsat danne de ydre rammer for genopbygningen i perioden 1894-1904.
Godset har gennem tiderne været ejet af adelsslægter, indtil i 1708 blev købt af Frederik IV. Han skænkede det til sin gemalinde, den senere dronning Anna Sophie Reventlow. Efter han døde i 1730 overtog den nye konge Christian VI Vallø Gods til sin dronning Sophie Magdalene.
Sophie Magdalene oprettede den 28. november 1737 Vallø Stift som en selvejende institution. De oprindelige vedtægter havde til hovedformål at understøtte og hjælpe ugifte døtre af dansk adel, såfremt de var indskrevet i Stiftet. I 1976 ophørte mulighed for indskrivning, men i 2004 genoptog Vallø Stift igen indskrivningen af adelige frøkener.
Vallø Slot er ikke åbent for besøgende, men det er tilladt at kigge ind i Slotsgården (i tidsrummet kl. 10 – 18). Man er dog velkommen til at besøge Slotsparken som er åben for privatpersoner mellem kl. 8.00 og til solnedgang.
