Muitas expedições que se arriscavam ao sul no século XVI fundeavam em Ilhabela, importante ponto estratégico da costa brasileira com boas enseadas, víveres, água e lenha. Mas as novas terras portuguesas logo foram infestadas por piratas e contrabandistas, instigados por guerras europeias e sedentos por pau-brasil, índios para escravizar e naus carregadas com riquezas.
Expedições guarda-costas portuguesas entre 1516 e 1528 fracassaram e a situação piorou com a descoberta de prata no Peru (1545) e ouro no Brasil (final do séc. XVII) e após 1580 quando Portugal ficou sob domínio espanhol.
Em 1617 o Rei Filipe II ordenou a vigilância do litoral por uma guarda costeira, mas Cartas de Corso autorizavam os corsários inimigos a pilhar.
A Ilha de São Sebastião* foi usada como covil por muitos piratas. Foi nela que em 1591 o legendário corsário Thomas Cavendish armou seu ataque às vilas de Santos e São Vicente, fato que originou fantasiosas lendas sobre tesouros.
Outros ingleses que aterrorizaram a região foram Francis Drake (em 1578, junto à John Winter e Thomas Doughty, “os Corsários da Rainha”), Edward Fenton (1583), Abraham Cocke (1589-95), John Davis (1591-92) e Richard Hawkins (1593).
Os principais neerlandeses que apavoraram a região foram Olivier van Noort (1599), Lourenço Brear (1599-1601) e Joris van Spilbergen (1615) e entre os franceses estão François Duclerc e o lendário Duguay Trouin, que após dominar o Rio de Janeiro em 1711 supostamente teria escondido na Ilha o que havia pilhado.
Foram construídos 8 fortes no Canal de São Sebastião, 4 em Ilhabela: Ponta das Cannas (na segunda metade do século XVIII) e Rabo Azedo, Feiticeira e Villa Bella da Princeza (após 1819). Ainda assim, moradores amedrontados mantinham prontas trouxas com pertences para eventuais fugas para a mata.
Em 1826, durante a Guerra da Cisplatina, tais fortes libertaram o navio brasileiro Defensor Perpétuo ao bombardear o brigue Chacabuco e a escuna Sarandi, capitaneada pelo argentino William Brown. Em 1827, argentinos saquearam e incendiaram o bergantim Pujante e meses depois ingleses e americanos de um navio corsário argentino foram mortos ao tentar invadir Ilhabela. Por vingança, casas foram queimadas.
Fabricados entre 1722 e 1830, alguns canhões estão expostos na Vila, outros decoram as casas de piratas modernos.
Muitos caçadores de tesouro perderam tempo e dinheiro em Ilhabela, mas a mais impressionante história é a do belga Paul Thiry, que por 40 anos buscou em vão o que achava ser o Tesouro da Trindade, para alguns o Tesouro de Monte Cristo.
* Popularmente chamada de Ilhabela, a Ilha de São Sebastião é a maior ilha do Arquipélago de Ilhabela.