Un nuevo castillo se edificó en 1774 por los ingenieros Vergel y Arrol, dotándolo con cañones traídos desde Sevilla. Su cuidado, desde entonces, estuvo en manos tanto de los soldados como de la población de Ribadeo, que se turnaban en las guardias.
Una vez más fue destruida la fortaleza en el año 1809, en esta ocasión, a manos de tropas napoleónicas, quedando muy afectada ya que volaron el polvorín.