Elvedgård nær Veflinge nævnes første gang i 1436, hvor gården var ejet af væbneren Hartvig Hesten. Den senere ejer Frederik Barsebek fik i 1475 et pavebrev, der tillod ham at omdanne gården til et kloster for karteuserordenen, hvilket dog aldrig blev til noget. 

Gennem tiden har mange gjort krav på Elvedgård, men i 1555 overgik gården, efter megen tvist, til brødrene Jørgen og Otte Brahe, der begge var ansete og velstående mænd, som administrerede betydningsfulde kongelige len. Otte Brahe er herudover kendt for at være far til den verdensberømte danske astronom Tycho Brahe. Det blev dog Otte Brahes anden søn, Axel Brahe, der efter sin fars død i 1571 overtog gården.

Axel Brahe var rigsråd og varetog adskillige af de mest ansvarsfulde hverv inden for landets styrelse. Han havde bl. a. en stor andel i afslutningen af Kalmarkrigen. Som kongelig lensmand varetog han også styrelsen af Rugaard, Odensegaard og Dalum Kloster. Efter Axel Brahes død overtog hans datter, Anne Brahe, gården, som hun dog senere pantsatte.

Herefter havde Elvedgård flere ejere indtil den nye ejer Ulrik Frederik Brüggemann i 1721 opførte en ny hovedbygning, bestående af tre fløje i en etage med tegltag. Hovedbygningen, der er opført på et gammelt voldsted, som sandsynligvis blev anlagt af den tidligere ejer Axel Brahe i 1590, var udstyret med en kvist og i grundmur, mens sidefløjene var i bindingsværk.

Herudover opførte han en stentrappe, der førte op til hovedindgangen, hvorover der sad en sten med familiens våben. For enderne af sidefløjene stod to fritstående toetagers tårne, som sandsynligvis havde stået fra gammel tid som beskyttelse for en vindebro.

Claus Hansen Wedel kom til i 1746. De næste ca. 200 år var Elvedgård i Vedelfamiliens eje.

I 1800 nedtog daværende ejer Claus Vedel Simonsen de to tårnes øverste etager og forenede deres nederste etager med hovedbygningens sidefløje.

En historiker og et eventyr værd

I 1832 efterlod Claus Hansen Wedel gården til sin søn, den berømte historiker Lauritz Schebye Vedel Simonsen, som boede her til sin død i 1858. Han var stærkt knyttet til Elvedgård og skænkede penge til en ny skole og et sognebibliotek i Veflinge. Han udgav mange hæfter og bøger om Danmarks historie og var en af de første, der opdelte forhistorien i sten-, kobber- (bronze) og jernalder. Han havde et ulykkeligt privatliv, da han blev skilt fra sin hustru, som var ham utro, og mistede sin søn, der begik selvmord som ganske ung. Men han var lykkelig på Elvedgård og elskede at arbejde i den store have og drømme i den smukke natur.

I 1860'erne nedrev daværende ejer, Julius Christian Frederik Wedel-Heinen, de gamle sidefløje og opførte i stedet nye i grundmur, ligesom han også ombyggede andre dele af slottet.

Elvedgårds avlsbygninger brændte i 1915, hvorefter nye blev opført nordvest for hovedbygningen, som et trefløjet anlæg i hvidpudset grundmur med rødt tegltag.

Elvedgårds hovedbygning er stadig omgivet af tre vandfyldte grave. På den anden side af gravene ligger Elvedgårds gamle have, som er gennemskåret af kanaler og rummer rester af et romantisk anlæg. 

H. C. Andersen besøgte 1829 Elvedgård og Vedel-Simonsen, da han søgte historiske oplysninger til en bog, han var ved at skrive. Bogen blev dog aldrig udgivet. Andersens eventyr "Døedningen, et Fyensk Folke-eventyr" (1830) finder dog sted tæt herpå, som man kan læse i indledningen: “Omtrent en Miil fra Bogense finder man paa Marken i Nærheden af Elvedgaard, en ved sin Størrelse mærkværdig Hvidtjørn, der kan sees fra selve den jydske Kyst.”

Elvedgård eller Elvedgaard er stadig et eventyr værd - det er en flot bygning, som kan ses fra vejen.