A Fortaleza de Nossa Senhora da Conceição, erguida entre 1713 e 1718, foi um dos pontos estratégicos para a conservação e defesa da cidade do Rio de Janeiro na época colonial. Ela surgiu da necessidade de instalar canhões em um local alto o suficiente para proteção da orla do antigo cais do porto e das ilhas próximas. Cinco anos depois da inauguração, o forte já detinha a terceira maior artilharia do Rio de Janeiro.
A Fortaleza é tombada pelo Instituto do Patrimônio Histórico e Artístico Nacional (Iphan) desde 1938 e hoje abriga a 5ª Divisão de Levantamento do Exército, organização militar subordinada à Diretoria de Serviço Geográfico (DSG). Guarda documentos cartográficos e filmes aerofotográficos do país. Com vista para a enseada do Rio, o espaço conserva uma capela e as masmorras onde ficaram presos políticos, como os líderes da Inconfidência Mineira.