El castillo primitivo aprovechaba dos lienzos de la muralla con tres de sus torres, de plantas y épocas variadas. El núcleo del castillo lo constituía la actual torre del homenaje, del siglo XIV, con matacanes y ventanas de arco semicircular, bajo la cual está el Patio de Armas, al que daban las habitaciones del edificio, y en el interior se conservan restos de pinturas del siglo XIV. Lugar de descanso de los prelados del obispado de Ávila, en el cual convocaron sínodos episcopales como en 1384. La villa fue fortificada con una muralla por el Obispo Sancho Dávila en el siglo XIV.