Slottet har anor sedan tidig medeltid. Slottet har genom tiderna tillhört såväl kungar och ärkebiskopar som olika släkter. Under 1900-talet bodde konstnären och författaren Ernst Nordlind på slottet och Borgeby var under decennier träffpunkt för konstnärer och författare. Slottet tillhör nu Hanna och Ernst Nordlinds stiftelse och en permanent minnesutställning över Ernsts konstnärskap visas i slottets porttorn.