Ubicado en la confluencia de los ríos Eresma y Clamores, la primera referencia que existe por escrito de su existencia es cristiana y data de principios del siglo XII. Fue construido sobre una roca, que indica su original empleo militar. Sirvió de residencia para Alfonso VIII. En el siglo XIII el edificio adquirió aspecto gótico con la intervención de los arquitectos de Juan II y Enrique IV. La última fase arquitectónica la sufre en el año 1.587, de la mano del arquitecto Francisco de Mora, posiblemente en colaboración con Juan de Herrera, que realiza el Patio Principal y La Escuela de Honor. Declarado Monumento Histórico Artístico en 1931, en 1985 fue declarado Patrimonio de la Humanidad.