Curiosa es la historia de Cienfuegos, que tuvo fortaleza en su enorme bahía sin tener aún ciudad, y no un simple fuerte o bastión defensivo, sino la tercera en importancia de la isla, después de los castillos de los Tres Reyes Magos del Morro y de San Pedro de la Roca, en La Habana y Santiago de Cuba, respectivamente, los tres declarados Monumentos Nacionales.
Desde finales del siglo XVI habían empezado a consolidarse en la región perteneciente a la villa de Trinidad las bases de una economía sostenida en la ganadería y el cultivo del tabaco, y, en el siglo XVIII, comenzaron a adquirir importancia la cera, la madera y el azúcar, destinadas a una inestable comercialización practicada ilegalmente entre los vecinos y contrabandistas extranjeros que utilizaban la bahía a su antojo por la ausencia de atención por parte de la metrópoli. A lo largo de su historia hubo diferentes intentos para fortificar el lugar, todos infructuosos, y la situación no comenzó a cambiar hasta 1735, cuando se promulgó una Real Orden autorizando el envío de tropas para defender las costas. Por fin en 1742 se decidió acometer la edificación de la fortaleza Nuestra Señora de los Ángeles de Jagua, obra que fue dirigida por el ingeniero militar francés Joseph Tantete, llegado a Cuba en 1732, que la terminó en 1745. El ingeniero Tantete se mantuvo luego en Cuba y llevó a cabo diversas obras, entre ellas, la columna conmemorativa erigida en La Habana en lugar de la ceiba en 1754, y aún conservada en el Templete.
Enclavada en una pequeña altura de su orilla occidental, a la medianía del estrecho cañón de la entrada, se trata de una sólida construcción en piedra, de estructura cúbica, con dos niveles, un foso perimetral con un puente levadizo y un torreón terminado en una cúpula semiesférica que semeja un ojo alerta sobre las aguas siempre tranquilas. La fortaleza está protegida por una alta muralla que oculta el nivel inferior, que contiene un patio central y dos garitas en los ángulos de la plataforma de tiro que miran al mar. Todo ello al estilo del prestigioso ingeniero francés Sebastián Le Pestre Vauban, que instrumentó su propio sistema de fortificaciones conocido como de Vauban, que establece la armónica relación entre paisaje, topografía y formas geométricas.
El castillo fue dotado con diez cañones de diverso calibre, suponiendo que eran bastantes para ahuyentar a los buques piratas. Pero no se contó que éstos disponían de pequeñas embarcaciones, y que podían introducirse dentro de la extensísima bahía por una de las bocas del Arimao, río que tiene dos brazos, uno que desagua en el mar y otro, conocido por «Derramadero de las Auras», que se dirige a la Laguna de Guanaroca, y comunica por un estero con la bahía. Y sucedió que a pesar del Castillo y de sus cañones, los atrevidos piratas seguían haciendo de las suyas con toda impunidad en la bahía, continuando en sus fechorías sin correr grandes peligros. Para cerrarles aquel camino, hubo de construirse una empalizada -de la que todavía quedan vestigios- que cubría el «Derramadero de las auras», logrando así verse al fin libre la bahía de las periódicas e inconvenientes visitas de los piratas.
En 1762 el castillo ocupó un relevante lugar en la historia de Cuba, al convertirse en punto de concentración de barcos y destacamentos militares españoles disponibles en el interior de la isla, para desde allí salir a reconquistar La Habana, tomada por los ingleses. Así este territorio se convierte de hecho en baluarte del mando militar español hasta que un año después se retiran los invasores tras convenios con España, que prefiere prescindir de la Florida, pero no de la capital de Cuba.
El primer Comandante de la fortaleza fue Don Juan Castilla Cabeza de Vaca, que además de militar fue hombre de negocios y de iniciativa y fomentó el primer ingenio de azúcar en Jagua, que se estableció en terrenos de la hacienda «Caunao» con el nombre de «Nuestra Señora de la Candelaria”, a una legua de la bahía. Casi desde el mismo momento de su construcción el castillo estuvo rodeado de leyendas, la más famosa de ellas la del fantasma llamado la Dama Azul.