A construção da Casa dos Governadores – que depois se tornou Paço Imperial – feita pelo governador Gomes Freire de Andrade, o Conde de Bobadela, em 1743, estimulou a ocupação da elite da época na região do Largo do Paço. O Brasil ainda era uma colônia e o seu principal governante era o Vice-Rei. Com a grande valorização, o juiz português Antônio Telles Barreto de Menezes comprou terrenos na área para construir um casario e alugar para comerciantes e moradores das classes mais altas da cidade. Contudo, as novas construções das casas impediam a passagem da travessa do Mercado do Peixe (atual travessa do Comércio). Assim, o engenheiro responsável José Alpoim criou um arco no meio de um dos prédios, que passou a ser o Senado da Câmara (equivalente a Câmara Municipal), para comunicar a antiga praça do Carmo (atual praça 15 de Novembro) e a rua da Cruz (atual rua do Ouvidor).
O local era movimentado pela alta sociedade carioca, que era atraída pela devoção a uma imagem de Nossa Senhora dos Prazeres, colocada em um espaço no interior do Arco do Teles. Mas, poucos anos depois, em 1790, um incêndio destruiu a maior parte das casas dos Telles de Menezes, restando apenas a parte que hoje constitui o Arco do Teles. Após o incêndio a região se desvalorizou e a classe alta saiu da região, que passou a ser habitada por ladrões e prostitutas. Com a desvalorização, a imagem de Nossa Senhora dos Prazeres foi retirada do local e realocada para a Igreja de Santo Antônio dos Pobres.
Somente depois de 1808 a área voltou a ser valorizada com a vinda da família real portuguesa, que morava no Paço Imperial.