Lançamento da Silurian (YC S24) – tecnologia de simulação da Terra

• Somos Jayesh, Cris e Nikhil, e fazemos parte da equipe da Silurian. A Silurian está construindo um modelo fundacional para simular a Terra, começando pela previsão do tempo. Nossos resultados recentes de previsão de furacões podem ser visualizados aqui

• Quanto valeria saber a previsão do tempo com um dia a mais de antecedência? Os sistemas tradicionais de previsão vêm melhorando sua precisão em um dia a cada 10 anos. Mas, nos últimos anos, esse ritmo está acelerando graças às GPUs e às técnicas modernas de deep learning

• Desde 2022, empresas como NVIDIA, Google DeepMind, Huawei e Microsoft vêm pesquisando ativamente sistemas de deep learning para previsão do tempo. Esses modelos aprendem a prever usando apenas dados, com pouquíssima física embutida. Surpreendentemente, essa abordagem entrega previsões melhores do que as simulações tradicionais de física atmosférica

• Jayesh e Cris vivenciaram em primeira mão o potencial dessa tecnologia ao liderarem, respectivamente, os projetos ClimaX e Aurora da Microsoft. Os modelos fundacionais que eles construíram melhoraram as previsões do ECMWF, considerado o padrão-ouro da previsão do tempo, usando apenas uma fração mínima dos dados de treinamento. O objetivo da Silurian é escalar esses modelos ao máximo e levar a previsão física até seus limites. No fim, a ideia é modelar toda a infraestrutura afetada pelo clima — redes de energia, agricultura, logística, defesa e mais. Em outras palavras, simular a Terra

• Neste verão, construímos um modelo de ponta de 1.5B de parâmetros chamado GFT (Generative Forecasting Transformer). Ele simula o clima global por até 14 dias com resolução de cerca de 11 km. Apesar da escassez de dados históricos sobre eventos climáticos extremos, o GFT está apresentando desempenho excepcional na previsão de trajetórias de furacões em 2024. Você pode conferir nossas previsões de furacões aqui. Usamos a ferramenta open source de visualização meteorológica cambecc/earth para exibir isso

• Estamos muito empolgados com o lançamento no HN e adoraríamos ouvir a opinião de vocês

Resumo do GN⁺

• A Silurian é uma empresa que está construindo um modelo fundacional para simular a Terra, começando pela previsão do tempo
• Nos últimos anos, os avanços em deep learning têm melhorado significativamente a precisão das previsões do tempo
• O modelo GFT da Silurian está mostrando excelente desempenho preditivo apesar da escassez de dados sobre eventos climáticos extremos
• Essa tecnologia tem potencial para ser aplicada a diversas infraestruturas, como energia, agricultura e logística
• Projetos com funcionalidades semelhantes incluem os sistemas de deep learning para clima da NVIDIA e do Google DeepMind

[GN⁺]

Comentários do Hacker News

• Fico feliz que agora seja possível fazer previsão por conjunto de ciclones tropicais

  • Fiquei decepcionado com a comparação entre os modelos de ML e o modelo HRES do ECMWF
  • O HRES não é uma estimativa ótima do clima médio, mas uma única realização de um clima possível
  • O NeuralGCM está entre os primeiros no leaderboard do WeatherBench
  • Gostaria de comparar o desempenho dos modelos no WeatherBench

• Um modelo sem física embutida faz previsões melhores usando apenas dados

  • O ditado do NLP de que "cada vez que você demite um linguista, o desempenho melhora" também se aplica aos físicos

• A Silurian está construindo um modelo fundacional para simular a Terra

  • Se der certo, fico curioso sobre o que mais eles gostariam de simular

• Estou animado com o potencial comercial do ClimaX

  • Fico curioso se algum setor específico entrou em contato sobre o potencial comercial (ex.: exploração de recursos naturais)

• Como organização sem fins lucrativos, construo um modelo semelhante para a terra

  • Gostaria de ajudar a substituir a máscara de terra por embeddings de terra
  • Isso ajudaria muito a fazer downscaling de efeitos regionais

• Fico curioso sobre como isso se diferencia do GraphCast, lançado pelo Google no ano passado

• Modelos meteorológicos me confundem

  • Fico curioso se os métodos de ML são numericamente mais estáveis do que simulações baseadas em física
  • Fico curioso sobre como eles se comparam em termos de requisitos computacionais
  • No passado, tive a experiência de converter modelos de FORTRAN para Verilog

• Fico curioso se já tentaram aplicar essa abordagem a terremotos imprevisíveis

• Essa abordagem parece ser mais um caso de "The Bitter Lesson"

• Fico curioso sobre o que mais será simulado no futuro

  • Construí uma demonstração em São Francisco na qual é possível buscar objetos em linguagem natural
  • Já experimentei embeddings do Clay, mas o desempenho foi inferior ao de embeddings de legendas do OSM ajustados com CLIP