En 936, un general y arquitecto del califa Abd-al Rahman III visita, por mandato de este, las torres y fortalezas situadas entre Atienza y Talavera (Medina Talabira, en la Marca Media), para repararlas y consolidar su función bélica. En la misma, se asegura el poblamiento de una aldea junto al Jébalo, en la que se sitúa Torrebella, edificio cuya ubicación no parece aún estar clara. Durante los siglos XII-XIII habrá una serie de fluctuaciones fronterizas respondiendo a la coyuntura de la guerra entre musulmanes y cristianos hasta que, tras la batalla de Las Navas de Tolosa (1212), se estabiliza la situación.

Las diversas formas de repoblar el territorio dieron como resultado un conjunto de modelos diversos, tanto en lo referente a la repoblación como en el control del territorio. De esta manera, el territorio controlado por Talavera tendrá una serie de puntos defensivos, equipados con torres, que servían de avanzadilla táctica, muy importante, sobre todo en el agitado siglo XII. Estas estructuras formaban parte de una red jerarquizada, con funciones diferentes, que perderán su valor estratégico en la Baja Edad Media, convirtiéndose en núcleos alrededor de los cuales se crearían casas-fuertes y alquerías de los pobladores de las tierras pertenecientes a Talavera. Probablemente estamos hablando de estructuras transformadas en asentamientos rurales.

Aunque su origen puede ser andalusí, hay indicios que confunden esta afirmación, indicando que fue mandada construir por un noble talaverano de la familia Calderón, quien en 1372 dona la dehesa de Castellanos al monasterio de Santa Catalina, donde ya existía otra torre. De este linaje, todo parece indicar que pasó al de los Duque de Estrada. En las Relaciones Topográficas de Felipe II se indica que en Alcaudete “no hay fortaleza ninguna sino es una torre antigua de piedra y cal…”, aludiendo que en ella se originó el núcleo urbano. “Un cazador… se había allegado a una torrecilla como atalaya, que agora está en el dicho lugar hecha torre en una heredad o huerta de Hernán Duque de Estrada… y había hecho allí junto a ella una choza donde vivía, y que desde allí se había fundado el lugar

En la centuria ilustrada (siglo XVIII) sería donada al párroco de la localidad, Ventura Angulo, quien lo pasará a sus sucesores. Resistirá a los empujes desamortizadores gracias a que en el artículo II de la Ley Madoz (1855) se exceptuaba de la nacionalización de bienes las casas en que vivían los párrocos y los huertos anejos a las mismas. Excepción que supuso que la conocida como “Huerta del Cura” se salvase del proceso enajenador, y con ella el Torreón. Situado en el núcleo urbano de Alcaudete de la Jara, mide 18 metros de altura y tiene planta cuadrada. Su fábrica es de mampostería y mal labrados sillares en las esquinas. En su parte norte, tiene un canecillo simple, otro de tres cuerpos al oeste, junto a otros dos triples perpendiculares al primero, en los que se apoya un arco ciego. La parte superior, de ladrillo, es de época moderna, diferenciada de la medieval de mampostería. Culmina en un tejado a cuatro aguas. En su interior tiene tres plantas, con cubiertas de bóvedas de arista apuntadas, una de ellas con chimeneas.