Anlægget er jævnaldrende med andre såkaldte tilflugtsborge, som alle kan dateres til 1300-tallets urolige tider. I begyndelsen af 1300-tallet var store dele af landet pantsat til danske og holstenske stormænd. Da Christoffer 2. døde i 1332, stod Danmark uden konge i otte år. Uroen ulmede overalt, og mange steder brød modsætningerne ud i lys lue. For stormænd med pant i dansk jord var der god grund til at sikre sig bag beskyttende volde og mure.
Egholm Slot havde en forløber i engen 200 meter syd for det nuværende voldsted, hvor der er udgravet rester af et befæstet, træbygget tårn fra omkring 1334. Man gik dog hurtigt i gang med at anlægge selve voldstedet Egholm Slot – med voldgrav, to borgbanker og teglstensbygninger. I 1374 lykkedes det den nye konge, Valdemar Atterdag, at købe ejendommen Egholm – muligvis under tvang. Dronning Margrete arvede senere Egholm og skænkede det til Aalborg Kloster, mod at borgen blev nedrevet.
I dag fremstår borgbanken som en delvist overgroet forhøjning, dækket af forblæste tjørn, slåenbuske og enkelte vilde hyben. Man kan dog stadig se mursten i de sammensunkne volde, og stedet udgør et betydeligt mindesmærke fra middelalderen i Himmerland.
