Desde a chegada ao Brasil de Porta da Cruz em 1493, Duarte Pacheco em 1498 e Pinzón, Lepe e depois Cabral em 1500, acirrou-se a disputa europeia por bens da “nova terra”. Mas com índios bravios, relevo difícil e sem perspectivas de riquezas minerais o litoral paulista foi desprezado até 1531, quando as tentativas francesas de colonização no Brasil ameaçaram o domínio português.
A partir de 1586 foram doadas terras na região entre Santos e São Sebastião para forçar a ocupação local. O primeiro colono a prosperar na Ilha de São Sebastião* foi Francisco de Escobar Ortiz, que entre 1608 e 1609 construiu dois engenhos de açúcar e mais tarde fez fortuna com a venda de escravos angolanos.
O embrião populacional de Ilhabela foi uma capela erigida na atual Vila possivelmente ao final do século XVII e início do XVIII em louvor à N.Sª D’Ajuda e Bom Sucesso.
A região se desenvolveu graças a ciclos extrativistas que oscilaram entre o lucro e fortes crises.
Segundo o Arquivo Histórico Ultramarino, em 1732 a abundância de cetáceos fez surgir na praia da Armação as instalações da Armação das Balêas, uma das principais empresas de produção de óleo de baleia do país - usado principalmente na iluminação e para dar liga em argamassa. Outras três armações de menor porte surgiram posteriormente, contribuindo para a quase extinção das baleias - em 1781 foram 850 mortes, recorde que resultou em apenas seis abates nos dois últimos anos do ciclo.
O açúcar prosperou até o final do século XVIII e em 23 de janeiro de 1806 os ilhéus se emanciparam da vizinha continental São Sebastião com a fundação da Villa Bella da Princeza. Alguns autores acreditam que o nome foi uma homenagem à Princesa da Beira, filha mais velha dos reis de Portugal, mas estudos também sugerem referência à padroeira de Ilhabela, Nossa Senhora D'ajuda e Bom Sucesso.
A opulência chegou a região no século XIX, graças ao café. Plantado por escravos até 630 metros de altitude, em 1854 foram colhidas 1.647 toneladas de grãos em cerca de trinta fazendas.
No século XX a aguardente chegou a ser produzida em 13 engenhos. A produção era transportada para Santos em canoas de voga, com até 13 metros, capacidade para cinco toneladas e movidas a remo e vela.
Em 1920, japoneses introduziram os primeiros cercos flutuantes de pesca do país no Saco do Sombrio, que virou importante área pesqueira até a 2ª Guerra Mundial.
Após a crise do café, agravada pela quebra da bolsa de Nova Iorque em 1929, sem condições de se sustentar, em 1934 a vila foi novamente anexada a São Sebastião, mas a revolta popular fez com que meses depois voltasse a ser município.
Por devaneios do governo ditatorial de Getúlio Vargas, em 1939 o município muda de nome para Vilabela e em 1940 para Formosa. Após mobilização pública, em 1945 incorpora as demais ilhas do arquipélago e torna-se Ilhabela. Com o aumento de imigrantes e turistas, em 1948 vira Estância Balneária.
Em 1854 Ilhabela tinha 10.769 habitantes, com as crises chegou a 4.800 em 1950. A partir desta década a aguardente entrou em declínio e a banana se espalhou por Ilhabela, até encerrar o último grande ciclo agrícola da região no final da década de 1970.
* Popularmente chamada de Ilhabela, a Ilha de São Sebastião é a maior ilha do Arquipélago de Ilhabela.