Fue construido en el siglo XIV en mampostería granítica combinada con ladrillo sobre los restos de una fortificación más antigua, posiblemente de origen romano y a su vez, sobre un antiguo castro celtíbero, su función principal no era la guerra, sino servir como lugar de esparcimiento para la realeza y la nobleza castellana, quienes encontraban en los hermosos valles y montañas circundantes una abundante caza. En el siglo XVI se levantó la torre del homenaje y se construyó un gran cubo artillero. Tras ello, el castillo se transformó en palacio renacentista porticado, según el uso castellano.