Kirken består af skib, kor og apsis bygget af granitkvadre i flere etaper mellem 1175-1225. Skibet har på nordsiden bevaret de oprindelige små, romanske vinduer. Senere er der tilføjet kalket våbenhus og i 1592 et tårn med en særpræget løgkuppel. Tårnet blev bygget på ordre fra Frederik d. 2., der på en rejse i 1588 i området, bad lensmanden på Koldinghus, Caspar Markdanner, om at bygge et tårn til kirken.
Apsis på Andst Kirke er specielt, idet den udvendige runding er større end en halvcirkel og derved giver apsis form som en hestesko. Denne form genfindes ved Ribe Domkirke. Indgangen til kirkeskibet går gennem en portal med 4 søjler og et relief med religiøse motiver i overliggeren, som de to kirker også har tilfælles, så det antages, at der har været en tæt forbindelse.
Indvendigt er kirkerummets vægflader kalket og loftet er et kasseloft med rosetter. Inventaret er primært fra middelalder og renæssance, bortset fra døbefonten som er fra kirkens oprindelse. Døbefonten har 10 felter med figurer i relief. Altertavlen er fra omkring 1510 og er et overdådigt træskærerarbejde, hvor figurerne viser korsfæstelsen og de 12 apostle. Under altertavlen findes figurer, der har været del af en såkaldt nødhjælpergruppe. Der er fundet romanske kalkmalerier, men i så dårlig forfatning, at de er blevet overkalket.
I kirkeskibet er der ophængt en tavle fra 1602 med tekst på latin, som hylder tårnets bygmester, lensmand Caspar Markdanner. Teksten er skrevet af præsten Jon Jensen Kolding, der i 1594 skrev den første kendte topografi over det danske rige. Uden for kirken står et monument over ham og hans hustru.
I våbenhusets ydermur sidder en romansk gravsten, som er delt i to felter. I det øverste felt står en mand og en kvinde i kærlig omfavnelse og i det nederste felt en ko, som det antages er udført af samme stenhugger, som har udført sydportalen. Sagn fortolker menneskene som kirkens grundlæggere og koen som hvad der var tilbage af formuen, da kirken var bygget færdig. Relieffet er en af de mest kendte stenskulpturer fra middelalderen - det er lavet omkring anden halvdel af 1100-tallet - måske lidt år 1200. De to personer står i en spejlet balance og har godt fat om hinanden og signalerer kærlighed. Han har godt fat om hendes bryst, og det er nok et motiv, der i moderne me-too-tider ville ha' fået hård medfart. Men fra en tid med tradition for arrangerede ægteskaber, så har kærlighed haft trange kår.
