Vesterport er den sidste rest af en middelalderlig befæstning med volde og grave omkring byen.
Senere tjente Vesterport og tre andre porte som opkrævningssteder for Accise - købstadstolden.
Byporten blev overflødig, da man i 1850 ophørte med at kræve Accise ved indførsel af varer i købstæderne. I 1728 brændte den øverste del.
I 1876 var byrådet tæt på at lade porten nedrive. Den blev reddet i sidste øjeblik på grund af udgifterne ved en nedrivning og konsekvenserne for de tilstødende huse.
Porten er opført af svære, røde munkesten, med kamtakkede gavle i øst og vest.
Restaureret i 1879, hvor Byporten efter planer af arkitekt Jens Juel Eckersberg blev "forskønnet". portåbningen blev gjort større, vinduesåbningerne blev ændret og porten smurt ind i cementpuds med en mængde dekorationer, der helt fjernede det middelalderlige.
I 1917 blev bygningen igen renoveret nu af Arkitekt Frits Jørgensen. Han fjernede pudslaget, restaurerede murene ved udskiftning af en del munkesten. De oprindelige vinduesåbninger blev genskabt, og den øverste del af de kamtakkede gavle blev rekonstrueret.
En sandstenstavle fra 1770 blev genopsat på sin oprindelige plads i vestsiden over portåbningen. Frits Jørgensen tegnede en tavle til indsættelse i portrummets nordvæg med inskriptionen "Restaureret Aar 1917".
