No hay duda de que la construcción se destinó para mejorar la seguridad de la desprotegida costa alentejana, constantemente recorrida por corsarios y piratas y, al mismo tiempo, para defender el puerto y la sacrificada villa de Milfontes. Además, la primera fase del periodo filipino fue fértil en realizaciones arquitectónicas, sobre todo en el plano militar, que incluían una mayor y mas moderna cobertura fortificada del litoral, para lo que contribuyó la llegada a Portugal de ingenieros italianos.

   Proyecto del citado ingeniero napolitano al servicio de la corona, Alexandre Massaij, que estuvo aquí en 1598 efectuando los estudios previos, la edificación se inició en el año siguiente, con el astillero transferido del Pessegueiro, cuyas obras fueron interrumpidas. La dirección de los trabajos fue entregada al propio Massii, quedando concluidos a finales de 1602. Buena parte de la piedra  para la construcción habrá sido, como en el Pessegueiro, obtenido de la roca arenítica próxima, donde todavía, con la marea baja, se divisan claramente señales de cortes.

Construido sobre espolón rocoso, en la margen derecha del río, a cerca de un 1,5 Km de la desembocadura, para donde apuntaba sus baterías, el fuerte buscó las máximas posibilidades defensivas naturales. Manerista en su trazo, obedecía a la tipología característica de una fortificación moderna preparada para recibir y defenderse de la artillería, dentro de los nuevos principios de pirobalística. De planta brutalmente cuadrangular  (o poligonal, para ser mas precisos), parecía avanzar en cuña sobre el estuario, ofreciendo al fuego de los posibles enemigos una superficie angular destinada a amortiguar los impactos de los proyectiles. Además, en las primeras plantas del fuerte ese ángulo surge todavía redondeado. Presentaba, para apoyar la entrada del estuario, dos plataformas desniveladas, con otras tantas baterías encajando unas en las otras.  Fronterizo a la villa, del lado norte y oriente, un terraplén enlosado guarnecido con cañoneras. Aunque no se pueda decir que se trata de una simple batería o plataforma  artilleriada, las dimensiones son las de un pequeño fuerte, cuyos lados rondan mas o menos los 35 metros.

 Orientada para el oriente, se abre una puerta en arco redondo, encimado por piedra de armas con escudo y corona cerrada (conforme el uso de la época) y simplificada. Para defensa de la puerta, además de la excavación o foso, un simple resalto en la muralla, sin los característicos baluartes que vemos, por ejemplo, en el Pessegueiro. El acceso se hacia por el puente levadizo, cuyo mecanismo dejó de funcionar talvez desde mediados del siglo XVIII (o quizás antes). A la entrada, en el interior, una especie de pasillo con los obstáculos de costumbre: cuerpo de la guardia, “rastillo” (o sea, una reja que interrumpía el paso al interior).

      Ocupando el espacio  delimitado por parte de los ramales este y sur, dos pisos comportaban el antiguo alojamiento del gobernador, en el superior, cubierto inicialmente por una terraza para mosqueteros, dado el papel que las arnas de fuego individuales ya desempeñaban (mas tarde sustituido por tejado), y cuarteles y almacenes, en el inferior. Las restantes dependencias, donde se incluía la capilla, se situaban en la “plaza baja” arrimadas al terraplén.

Cercaba el fuerte, por el norte y oriente, una excavación o foso, limitado exteriormente por un contra-declive, en el cual corría una carretera cubierta, accesible a partir del foso por una desaparecida escalera de piedra. El muro que hoy rodea el foso del castillo y que forman los miradores de la Barbacã (también una designación arcaica) es lo que resta de esa antigua fortificación exterior.  A la solución de los baluartes fue aquí preferida una defensa basada en la alta y fuerte muralla y en las obras exteriores, porque, esa zona quedaba circunvecina al caserío de la villa.

  La historia del fuerte, está marcada por noticias que tratan de las dificultades en mantener, a lo largo de los tiempos, un mínimo de operatividad militar, ya sea por carencia de personal, o por deficiente munición. A pesar de todo, aunque no se vea por el efecto de algún modo persuasor , no debemos menospreciar su papel defensivo.

  Una nueva historia del fuerte  se inició en el albor del siglo XX. En 1903 fue rematado en subasta pública por el capitán de infantería  Valério Manco Ferrão, residente en Lisboa, por 464 mil réis, pasando así para manos particulares. Este, por su vez, acabó por venderlo, en 1909, a Francisco de Jesus Gonçalves, entonces morador en la  heredad de Gomes Anes (Odemira), por el precio de 250 míl réis. Dando crédito a los valores declarados en las escrituras, el capitán Ferrão hizo un pobre negocio.

    El fuerte presentaba, en esa época, aspecto decadente, principalmente en los muros orientados para la orilla, en el caserío adosado al caballero en los parapetos y en el contra-declive, aunque los poderosos muros de la plaza alta le confiriesen una todavía sólida apariencia.  Situación justificada por la acción del tiempo, conjugada con el desprecio al que fue sometido. El hecho de haber sido privatizado no le trajo ventaja alguna inmediata en términos de conservación, al contrario, los sucesivos propietarios no le prestaron ninguna atención durante casi 40 años.

    Finalmente, por la compra efectuada en 1939 (escritura redactada en 1940) el castillo fue providencialmente adquirido por Luís Manuel de Castro e Almeida, a través de su mujer Margarida Marques de Figueiredo. El nuevo propietario, un viajado propietario y negociante, natural de Lisboa, que usaba el títula de “Don”, mandó entonces restaurarlo para utilizarlo como su residencia  y para fines turísticos (“turismo de habitación” avant la lettre), funciones que todavía mantiene.

   Hoy, muestra naturalmente alteraciones al aspecto de los tiempos en el que tenía una función bélica, las mas visibles efectuadas después de 1939, durante las obras de restauración. En el exterior, se destaca el friso de ventanas en arco que remata el muro de la plaza baja y marca la silueta del fuerte visto desde el sur o desde el occidente, trazadas para mejorar la habitabilidad del fuerte. Una imitación de torreón medieval sobresale, disonante, en la plaza alta; disfraza un depósito de agua que construido hace algunos años, en periodo de escasez de abastecimiento de agua al domicilio. Interiormente, el área habitable fue siendo ampliada por la excavación del terraplén y unión al foso por una pequeña puerta, bien como por la ampliación del caserío en la plaza alta.

   El “fuerte de Milfontes” recibió la clasificación de “inmueble de interés público” por el decreto 95/78, del 12 de Septiembre, decisión que no fue capaz de impedir subsecuentes irreverencias, cometidas en particular en su área envolvente. Posteriormente, con la creación del Parque Natural del Suroeste Alentejano y Costa Vicentina, fue incluido en una de las áreas de salvaguardia del patrimonio cultural (decreto 33/95), el que, una vez mas, no evitó algunas desmañadas intervenciones en el propio fuerte.