Esse edifício já teve a aparência de um tradicional sobrado luso-brasileiro. Foi construído na segunda metade do século XVIII sobre uma ilhota rochosa, próxima da praia, mas no início do século XX os aterros envolveram a ilhota, ligando-a à Ilha de Santa Catarina. 
O forte destinava-se a evitar a passagem de piratas pelo canal do Estreito e a proteger a antiga Vila de Nossa Senhora do Desterro. Foi desativado por volta de 1873, vindo a abrigar, a partir de 11 de janeiro de 1875, a agência da Capitania dos Portos das Províncias do Rio Grande de São Pedro do Sul e de Santa Catarina. 

Em função das obras viárias do novo aterro da Baía Sul depois de 1970, foi cogitada a demolição deste forte, mas segmentos da opinião pública mobilizaram-se contra. A imprensa local promoveu uma série de debates sobre a pertinência ou não da preservação, do antigo forte, o qual, apesar do acentuado grau de descaracterização, tanto de sua arquitetura quanto de seu entorno originais. Assim, em 1984, o forte e sua área de 5.086 m² foram tombados como Patrimônio Histórico e Artístico Nacional. Em 1997, a agência da Capitania foi transferida para o Estreito, no continente. Atualmente a Sociedade Amigos da Marinha (Soamar) e o Grupo de Escoteiros do Mar Ijurerê-Mirim mantêm suas sedes nas dependências da antiga fortificação, que encontra-se, desde então, fechada a visitação pública.