Lançamento da Silurian (YC S24) – tecnologia de simulação da Terra

• A Silurian está criando um modelo fundacional para simulação da Terra e escolheu a previsão do tempo como primeira aplicação, por ter alto valor quando consegue antecipar previsões mesmo que seja por apenas um dia
• As previsões meteorológicas tradicionais vinham melhorando cerca de 1 dia a cada 10 anos, mas GPUs recentes e deep learning moderno aceleraram esse ritmo
• Desde 2022, empresas como NVIDIA, Google DeepMind, Huawei e Microsoft intensificaram as pesquisas em previsão do tempo baseada em deep learning, e modelos orientados por dados podem gerar resultados melhores do que simulações tradicionais de física atmosférica
• O GFT (Generative Forecasting Transformer), criado com base na experiência da Microsoft com ClimaX e Aurora, simula o clima global com resolução de cerca de 11 km por até 14 dias
• O objetivo de longo prazo é modelar também infraestruturas afetadas pelo clima, como rede elétrica, agricultura, logística e defesa; por enquanto, a empresa está publicando previsões de trajetórias de furacões de 2024

---

Começando a simulação da Terra pela previsão do tempo

• A Silurian é uma equipe formada por Jayesh, Cris e Nikhil, que desenvolve um modelo fundacional para simulação da Terra
• A primeira aplicação é a previsão do tempo, e os resultados recentes de previsão de furacões podem ser vistos em hurricanes2024.silurian.ai
• O objetivo é expandir o modelo e levá-lo até os limites fisicamente previsíveis
• No longo prazo, a empresa quer modelar também infraestruturas afetadas pelo clima
  • rede elétrica
  • agricultura
  • logística
  • defesa

O estado atual da previsão com deep learning e do GFT

• Os sistemas tradicionais de previsão vinham melhorando cerca de 1 dia a cada 10 anos, em um ritmo no qual a previsão de 6 dias de hoje se tornava tão precisa quanto a previsão de 5 dias de dez anos atrás
• Desde 2022, empresas como NVIDIA, Google DeepMind, Huawei e Microsoft aumentaram rapidamente as pesquisas em sistemas meteorológicos com deep learning
• Esses modelos têm poucas ou nenhuma lei física embutida e aprendem a prever apenas a partir de dados
• Jayesh e Cris lideraram na Microsoft os projetos ClimaX e Aurora, respectivamente, e vivenciaram de perto o potencial dessa tecnologia
  • Esses modelos fundacionais produziram resultados melhores do que as previsões do ECMWF, consideradas padrão na previsão do tempo
  • Os dados de treinamento usados eram apenas uma parte dos dados disponíveis
• Neste verão, a Silurian construiu seu próprio modelo fundacional, o GFT (Generative Forecasting Transformer)
  • É um modelo de fronteira com 1,5 bilhão de parâmetros
  • Simula o clima global com até 14 dias de antecedência
  • A resolução é de cerca de 11 km
• Embora os registros históricos tenham poucos dados de clima extremo, o GFT tem mostrado desempenho muito bom nas previsões de trajetórias de furacões em 2024
• As previsões de furacões podem ser verificadas diretamente em hurricanes2024.silurian.ai
• Para a visualização, foi usada a ferramenta open source de visualização meteorológica cambecc/earth

[GN⁺]

Comentários do Hacker News

• Fico feliz que agora seja possível fazer previsão por conjunto de ciclones tropicais

  • Fiquei decepcionado com a comparação entre os modelos de ML e o modelo HRES do ECMWF
  • O HRES não é uma estimativa ótima do clima médio, mas uma única realização de um clima possível
  • O NeuralGCM está entre os primeiros no leaderboard do WeatherBench
  • Gostaria de comparar o desempenho dos modelos no WeatherBench

• Um modelo sem física embutida faz previsões melhores usando apenas dados

  • O ditado do NLP de que "cada vez que você demite um linguista, o desempenho melhora" também se aplica aos físicos

• A Silurian está construindo um modelo fundacional para simular a Terra

  • Se der certo, fico curioso sobre o que mais eles gostariam de simular

• Estou animado com o potencial comercial do ClimaX

  • Fico curioso se algum setor específico entrou em contato sobre o potencial comercial (ex.: exploração de recursos naturais)

• Como organização sem fins lucrativos, construo um modelo semelhante para a terra

  • Gostaria de ajudar a substituir a máscara de terra por embeddings de terra
  • Isso ajudaria muito a fazer downscaling de efeitos regionais

• Fico curioso sobre como isso se diferencia do GraphCast, lançado pelo Google no ano passado

• Modelos meteorológicos me confundem

  • Fico curioso se os métodos de ML são numericamente mais estáveis do que simulações baseadas em física
  • Fico curioso sobre como eles se comparam em termos de requisitos computacionais
  • No passado, tive a experiência de converter modelos de FORTRAN para Verilog

• Fico curioso se já tentaram aplicar essa abordagem a terremotos imprevisíveis

• Essa abordagem parece ser mais um caso de "The Bitter Lesson"

• Fico curioso sobre o que mais será simulado no futuro

  • Construí uma demonstração em São Francisco na qual é possível buscar objetos em linguagem natural
  • Já experimentei embeddings do Clay, mas o desempenho foi inferior ao de embeddings de legendas do OSM ajustados com CLIP