Non esistono documenti scritti che attestino la data di costruzione del Castello di Kelburn, ma si ritiene che risalga al 1143 circa, con la prima struttura costituita da una torre di legno. Questa torre di legno fu sostituita nel XIII secolo da un mastio normanno in pietra, di cui alcune sezioni sono ancora oggi in uso.
