De fleste af byens huse er fra det 18., 19. og begyndelsen af det 20. århundrede, men en af middelalderportene, Vesterport, er stadig at finde i byen. Byens klokketårn tilhørte engang middelalderkirken, som blev revet ned. I stedet blev klostrets kirke, der ikke havde noget klokketårn, sat i tjeneste som bykirke.
Havnen har dybt vand og er godt beskyttet mod vinden, der kommer mest fra sydvest. Skibsbyggeri og skibsfart prægede fra tidlige dage byen, og i dag er havnen travl med både handel og fritidsaktiviteter. En af de gamle købmandsbygninger ved siden af havnen er Den gamle Gaard. Den har en lille pavillon, hvor købmanden og hans familie kunne overskue havnen og sine egne skibe. Faaborg var den første by i øgruppen med skibe, der sejlede så langt væk som til Kina. Poul Kinafarers Gård er et gammelt pakhus i Faaborg.
Ligesom Rudkøbing og Ærøskøbing var Faaborg længe en lille by. I 1600- og 1700-tallet med et indbyggertal lige omkring 1.000. På grund af handel og en bred vifte af industrier blomstrede byen i det 19. århundrede, og befolkningen voksede til 4.218 i 1901.
Faaborg blev i forrige århundrede hjemsted for en gruppe af unge malere, der valgte natur, landskab og livet på Fyn som motiv. “De fynske malere” blev de kaldt, og gruppen bestod blandt andet af Anna og Fritz Syberg, Johannes Larsen og Peter Hansen. I 1915 blev en nyklassicistisk bygning til deres malerier åbnet og fik navnet Faaborg Museum. Denne bygning og interiøret samt malerierne er en hjørnesten i dansk kunsthistorie.
