Havnen ligger i læ for bølger og hårdt vestligt vejr af det fremtrædende gletsjerlandskab og holocæne marine forland ved Knolden. De ældste bygninger ligger tæt på havnen og er bygget i bindingsværk.
Omkring 1910 var der gang i fiskeriet, og flere mennesker kom til at bo i Dyreborg. Det resulterede i en særskilt bebyggelse kaldet Ny Dyreborg, hvor alle huse er hvide, og de fleste har tage med røde tegl, hvilket giver bebyggelsen et charmerende enstemmigt udtryk.
Fiskerne i Dyreborg anvendte både af typen "smakkejolle" og fiskede to mand ved hjælp af fiskegarn eller fiskekroge. Et andet erhverv var at lodse sejlskibe til og fra Faaborg. Bådene blev taget i land eller fortøjet tæt på stranden. I 1888 blev der bygget en dampskibsmole. Den nuværende havn blev bygget i 1930.
Dyreborg er i dag en rekreativ landsby og mange kommer på udflugt for at nyde idyllen, tage en svømmetur eller gå en tur i den gamle skov.
