Es difícil tener hoy día una idea clara de cómo sería el castillo que domina el actual pueblo de San Esteban de Litera, pero una cosa si es cierta, sus defensas serían formidables o, al menos, muy efectivas, ya que estando el resto de la Litera reconquistada, San Esteban y Tamarite serían las últimas fortalezas árabes en caer. Es cierto que hubo conquistas esporádicas en los años 1064, 1089 y 1107, hasta que entre 1143 y 1149 fue reconquistado definitivamente por Ramón Berenguer IV, cuando la aldea y su castillo formarían parte de la encomienda Templaria de Monzón.
La fortaleza se levantaría en siglo IX o X, algo de difícil concreción, seguramente habría ya una aldea y sus moradores fueron absorbidos por sus nuevos conquistadores. En la actualidad, solo se mantiene un torreón que fue rehabilitado en la década de los 90 del siglo pasado.
