Kirkebygningen består af romansk skib, kor og apsis med senere tilføjet sengotisk tårn og våbenhus af munkesten mod nord. Til selve kirkebygningen, der fremstår i blank mur, er der anvendt veltilhuggede kvadre med en del smykkende detaljer. Som byggematerialer er også anvendt frådsten og tuf, f. eks. er der inde i apsishvælvingen anvendt tuf-plader i loftet. Kirken har blytag, og i våbenhuset findes en blystøberkamin. Kirken er opført i ca. 1175 og er omkranset af mindre vandløb på alle sider. Vi ved fra skriftlige kilder, at kirken blev kraftigt beskattet, hvorfor man må antage, at kirken har haft betydelige aktiver.
Sydvest for kirken fandtes en fordybning, hvor alle sognets døde som følge af pesten i 1659 blev stedt til hvile i. Pesten efterlod kun 3 ægtepar tilbage i sognet. På kirkegården er der mindesmærke for de 504 døde.
Kirken har bevaringsværdige kalkmalerier med ornament udformet som lilje.
Kirkens inventar
Altertavlen er fra 1842, hvor man solgte den gamle renæssancetavle til nabosognet Hjerting. I stedet fik kirken sin nuværende nygotiske altertavle. Døbefonten er senromantisk og af gotlandskalk. Et stort korbuekrusifiks i form af en 2 m høj Kristusfigur udskåret i træ hænger over korbuen. Kirkens prædikestol er fra ca. 1610-20 og himmel fra ca. 1637.
På kirkegården findes mindesten for sognets faldne i 1. verdenskrig.
Der går om Hygum Kirke det vandresagn, at der var to kæmper, der byggede Hygum og Skrave kirker. Den der blev sidst færdig, kastede en sten efter den anden, og denne sten faldt i Rødding Skov.
Bevaringsværdig bygning nord for kirken
Nord for kirken lige ud til Ribevej ligger en kirkestald fra 1857. Rødstensbygningen med tegltag har været kirkestald med en bolig til "dødegraveren", som var datidens navn for graveren. Længst mod vest har bygningen staldvinduer, mens boligens klassicistiske vinduer og hoveddør er hvide. Bemærk også smedejernsvinduet over hoveddøren. Bygningen med den gamle kirkestald er en af Vejen Kommunes bevaringsværdige bygninger.
