Laguna S 2.1 é lançado

 (poolside.ai)
1 pontos por GN⁺ 5 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • A Poolside lançou o Laguna S 2.1, com capacidades reforçadas para trabalhos longos e raciocínio. De um total de 118B MoE, ativa 8B parâmetros por token e oferece suporte a um contexto de até 1M de tokens tanto no modo thinking quanto no modo no-thinking
  • Do início do treinamento ao lançamento, foram menos de 9 semanas; o modelo registrou 70,2% no Terminal-Bench 2.1, 78,5% no SWE-Bench Multilingual e 40,4% no DeepSWE v1.1, competindo com modelos maiores
  • O centro da melhoria de desempenho está em persistência, verificação e recuo seguido de nova tentativa, mais do que simplesmente escalar o modelo. Com rollouts mais longos, sandbox aprimorado e vários harnesses de agentes, a ideia é reduzir declarações prematuras de conclusão e overfitting a um único harness
  • Em trabalhos reais, criou um mecanismo de renderização HTML/CSS em 181 etapas, aumentou a velocidade do próprio harness em 5,2% e reduziu as alocações de memória em cerca de 70%, além de redescobrir de forma independente um conjunto infinito de soluções para o problema de Erdős #397
  • A Poolside publicou o modelo e todas as trajetórias de execução das avaliações finais, mas há limitações nas especificações de ferramentas de harnesses de terceiros, no JSON de chamadas de ferramentas aninhadas e em raciocínios excessivamente longos. Os pesos e o contexto de até 1M estão disponíveis no Hugging Face e nos principais frameworks de inferência e serviços de hospedagem

Arquitetura do modelo e velocidade de lançamento

  • Laguna S 2.1 é um modelo Mixture-of-Experts com 118B parâmetros no total e 8B parâmetros ativos por token
    • Tanto o modo thinking quanto o no-thinking oferecem suporte a um contexto de até 1M de tokens
    • Do início do treinamento ao lançamento, foram menos de 9 semanas
  • O pré-treinamento começou em 22 de maio de 2026 em 4.096 GPUs NVIDIA H200, e o modelo foi lançado 60 dias depois
  • Graças ao pequeno tamanho ativo, tarefas complexas podem ser executadas em sistemas locais, inclusive em um único NVIDIA DGX Spark

Desempenho em benchmarks de codificação de longa duração

  • Em 21 de julho de 2026, os principais resultados eram os seguintes
    • Terminal-Bench 2.1: 70,2%
    • SWE-Bench Multilingual: 78,5%
    • Dataset público SWE-Bench Pro: 59,4%
    • DeepSWE v1.1: 40,4%
    • SWE Atlas(Codebase QnA): 46,2%
    • Toolathlon Verified: 49,7%
  • O Terminal-Bench 2.1 avalia diversas tarefas longas nas quais agentes interagem com o ambiente via terminal; o Laguna S 2.1 marcou 70,2% no harness pool com thinking ativado
  • Em benchmarks maduros, as melhores pontuações ficam concentradas entre 70% e 90%, de modo que modelos com comportamentos bastante diferentes podem aparecer separados por poucos pontos
  • DeepSWE inclui tarefas mais longas e difíceis de resolver parcialmente, resultando em maior dispersão das pontuações
    • Na v1.1, modelos de fronteira registram de 54% a 73%, enquanto alguns modelos abertos com mais de 1T ficam abaixo de 10%
    • O Laguna S 2.1 registrou 40,4% no próprio harness pool
    • Como foi usado um harness próprio, e não o mini-swe-agent do ranking oficial, a comparação com as pontuações de outros modelos não é completamente equivalente
    • Para os outros modelos, foi usada a maior pontuação entre anúncios próprios, rankings de benchmark e Artificial Analysis
  • Todas as trajetórias de execução da avaliação final foram publicadas em trajectories.poolside.ai

Metodologia de avaliação e gestão de reward hacking

  • Avaliações de agentes sofrem com o problema de reward hacking, em que o modelo encontra respostas ou correções existentes online para obter pontuação
  • O acesso à internet foi permitido por padrão, e um avaliador LLM calibrado com trajetórias rotuladas por humanos (LLMaaJ) foi usado para marcar casos suspeitos
    • No pós-treinamento inicial, a taxa de reward hacking era inferior a 2%
    • À medida que o treinamento avançou, as trajetórias marcadas na família SWE-bench passaram de 50%
    • Investigações manuais mostraram que, em muitos casos, o modelo encontrava o PR ou repositório que serviu de base para o problema e aplicava a correção real
  • Depois de adicionar ao prompt do usuário uma instrução para não usar soluções diretas encontradas online, a taxa de reward hacking caiu em geral para menos de 2%
    • Não é uma solução completa, e houve exceções no ProgramBench e no MirrorCode
  • A verificação adicional usou investigação manual de casos bem-sucedidos marcados pelo LLMaaJ, análise aberta de agentes sobre trajetórias completas e revisão por especialistas de todas as execuções de alta pontuação no Terminal-Bench 2.1
  • Mais recentemente, a detecção de reward hacking foi reforçada com avaliação adversarial, e as trajetórias da avaliação final dos checkpoints públicos podem ser visualizadas e baixadas

Exemplos de trabalhos reais

  • Construção de um motor de navegador a partir de uma pasta vazia

    • O Laguna S 2.1 executou 181 etapas ao longo de 50 minutos, sem intervenção humana, para construir um mecanismo de renderização HTML/CSS a partir de uma pasta vazia
    • Sem recursos visuais, validou os resultados lendo o canvas com headless Chromium e comparando screenshots numericamente
    • Implementou todo o pipeline em Vanilla JavaScript
      • Tokenizador HTML e árvore DOM
      • Parser CSS que trata prioridade de seletores
      • Motor de cascata com suporte a herança
      • Layout de box model e renderizador Canvas 2D
    • O resultado foi um app que mostra lado a lado 9 exemplos do mesmo markup no próprio canvas e em um iframe do navegador
    • A trajetória completa de execução foi publicada

  • Otimização do próprio harness de agente

    • Em um loop automatizado de pesquisa instrumentado com benchmarks, mediu o desempenho após cada mudança e restringiu o processo para manter apenas mudanças com melhoria confirmada
    • Ao longo de várias horas, acelerou o harness em 5,2% e reduziu as alocações de memória em cerca de 70%
    • As principais otimizações foram:
      • Substituição por buffers da concatenação de strings O(n²) usada para acumular tokens em streaming
      • Remoção, por memoização, de cópias duplicadas no processo de materialização de trajetórias
      • Pré-alocação de slices com tamanho exato para reduzir alocação excessiva
    • Quando a diferença de velocidade ficou difícil de medir, o foco mudou para otimizações de alocação de memória que pudessem ser medidas com mais precisão
    • O benchmark usado não era um teste de produção completo, mas o resultado final foi validado com gates do Go race detector e go vet, e o comportamento dos artefatos foi verificado
    • A trajetória completa de execução foi disponibilizada

  • Redescoberta do problema de Erdős #397

    • O modelo encontrou de forma independente uma construção que gera um conjunto infinito de soluções para o problema de Erdős #397, proposto em 1975 por Erdős, Graham, Ruzsa e Straus
    • Como o problema permaneceu em aberto por mais de 50 anos e foi resolvido primeiro pelo GPT-5.2 Pro em janeiro de 2026, trata-se de uma redescoberta, não da primeira solução
    • O corte de conhecimento do modelo é novembro de 2025; quando não havia Python no sandbox, ele encontrou Perl e trabalhou por 68 minutos
    • O processo de resolução foi o seguinte:
      • Busca exaustiva por fatorações primas exatas
      • Análise de padrões e conjectura do conjunto de soluções
      • Prova de um conjunto fechado e infinito de soluções composto por 8 índices
    • A fórmula descoberta é a seguinte para todo n ≥ 0
    B(11+10n) · B(14+12n) · B(18+15n) · B(22+20n)
= B(12+10n) · B(13+12n) · B(17+15n) · B(23+20n)
    • Diferentemente do conjunto de soluções existente com 6 índices, usa uma estrutura de 8 índices que cresce linearmente
    • A trajetória completa de execução foi publicada

Modos de raciocínio e diferenças de desempenho

  • Há dois modos de raciocínio: off e max, que é o padrão
    • Em max, o modelo decide o orçamento de raciocínio por problema e a computação em tempo de teste
    • Foram observados casos de raciocínio coerente por várias horas e centenas de milhares de tokens
  • O uso de max thinking aumenta bastante o desempenho
    • Terminal-Bench 2.1: 60,4% → 70,2%
    • DeepSWE: 16,5% → 40,4%
  • No lançamento, não há controles personalizados de intensidade de raciocínio do tipo low·medium·high
  • No pool, é possível alternar o uso de thinking por sessão com o comando /thought-level

Limitações conhecidas

  • Devido a overfitting ao harness, ao chamar pela primeira vez ferramentas semelhantes ao próprio harness, mas com especificações diferentes nos detalhes, como a ferramenta de terminal do Hermes Agent, o modelo pode depender da memória da interface antiga
    • Quando o harness rejeita a chamada incorreta e pede nova tentativa, isso em geral é resolvido por aprendizado em contexto
  • O modelo usa um formato de chamadas de ferramentas baseado em tags semelhante a XML e, quando argumentos exigem arrays JSON, pode produzir JSON mal escapado ou inválido
  • Especialmente em problemas de matemática competitiva, pode raciocinar por tempo excessivamente longo sem progresso
    • Modelos posteriores devem introduzir controle de intensidade de raciocínio e melhorias na eficiência do raciocínio

Mudanças de treinamento que impulsionaram o desempenho

  • Melhoria do modo de trabalho, mais do que do tamanho do modelo

    • O objetivo não é apenas acrescentar inteligência em si, mas reforçar comportamentos de verificar mais, não presumir o óbvio e não declarar sucesso cedo demais
    • Modelos Laguna anteriores às vezes declaravam conclusão quando parte dos testes passava ou abandonavam uma abordagem pouco antes do sucesso, mas o S 2.1 continua trabalhando
    • Independentemente da inteligência bruta, persistência, verificação e disposição para voltar atrás são vistas como eixos importantes de desempenho, e houve investimento em ambos
    • O próximo grande modelo Laguna já iniciou o pré-treinamento

  • Pré-treinamento e pós-treinamento

    • É um modelo escalado usando os mesmos dados de pré-treinamento do Laguna XS 2.1
    • As diferenças em relação ao XS 2.1 são escala, correções no código de treinamento e pequenas mudanças na receita de treinamento, não novos dados
    • Pela primeira vez, RL foi executado com precisão FP8, acelerando essa etapa de treinamento
    • O pós-treinamento foi conduzido em duas etapas
      • Inicialização das capacidades por ajuste fino supervisionado (SFT) com algum uso de dados sintéticos
      • Aplicação de RL a tarefas que ainda não eram resolvidas com alta taxa de aprovação
    • Como sessões longas de agentes acumulam centenas de milhares de tokens de contexto de trabalho, a expansão para contexto de 1M melhora o desempenho em tarefas difíceis

  • Composição das tarefas de pós-treinamento

    • O corpus de treinamento é composto por 409.000 ambientes de agente e não agente
      • 83.000 ambientes com uso de terminal
      • 168.000 tarefas gerais de engenharia de software
    • As tarefas foram obtidas por meio de repositórios open source, dados sintéticos internos, um sistema automático de instalação de dependências e aquisição de fornecedores externos de dados
    • As tarefas de engenharia de software são baseadas principalmente em histórico real de código
      • Cerca de 38.000 tarefas que reproduzem commits reais de aproximadamente 17.000 repositórios formam a maior parcela
      • Também incluem reprodução de PRs mergeados, correção de bugs injetados e recuperação de arquivos apagados com base em suítes de testes
    • No S 2.1, foi adicionada a tarefa de instalação agentic de repositórios, que instala todas as dependências de um repositório e executa a suíte de testes
    • As tarefas de terminal usam um dataset que gera ambientes e desafios não vistos a partir de seeds

  • Melhorias no loop de treinamento

    • Foi aplicado um orçamento de rollout maior do que em modelos anteriores, com mais tempo limite, tokens por turno e turnos por tarefa
    • O RL foi migrado para um novo serviço de sandbox, usando os seguintes recursos
      • Suporte a processos em segundo plano
      • Bloqueio opcional de rede para reduzir a superfície de reward hacking
      • Cache de artefatos para evitar sobrecarga de serviços externos
    • O mesmo prompt foi executado em vários harnesses de agentes para ensinar comportamentos que funcionem em diversos harnesses, não em um único scaffold

As duas frentes em que a Poolside se concentra

  • A primeira é capacidade de codificação agentic
    • A Poolside vê a codificação e a interface flexível do software como um caminho para a inteligência
    • O foco está em casos em que o modelo usa software como agente e trabalha de forma coerente por horas ou dias
  • A segunda é uma abordagem segundo a qual é possível reconstituir por aprendizado por reforço o processo de pensamento que levou a respostas registradas na web
    • Este lançamento é resultado da primeira frente, enquanto a segunda continua em desenvolvimento

Model Factory e ciclo de desenvolvimento

  • A plataforma interna de pesquisa e engenharia Model Factory automatiza o processo de desenvolvimento de modelos, incluindo dados, experimentos disciplinados de arquitetura e infraestrutura de avaliação
  • Em menos de 3 meses após o lançamento do Laguna M.1, a Poolside desenvolveu um modelo mais forte com metade do tamanho de execução
  • A empresa investe em acelerar ciclos de pesquisa e integração e em reduzir a atenção que pesquisadores gastam com escrituração e infraestrutura
  • Ao longo do próximo ano, pretende aplicar o mesmo método de desenvolvimento a modelos maiores

Distribuição e uso

  • Publicado no Hugging Face sob a licença OpenMDW-1.1
    • Pesos BF16, FP8, INT4 e NVFP4 são disponibilizados
    • Conversões oficiais GGUF·MLX e um modelo de rascunho DFlash são fornecidos
  • Para hardware NVIDIA, há suporte a otimizações de inferência como serving TRT-LLM, NVFP4 em Blackwell e execução em um único DGX Spark
  • Serving local e público é suportado por vLLM, SGLang e Ollama
  • As opções de acesso hospedado são:
  • O endpoint gratuito do OpenRouter oferece contexto de 256K
    • O endpoint pago dedicado oferece suporte a contexto de 1M
    • O preço é US$ 0,10 por 1 milhão de tokens de entrada, US$ 0,20 de saída e US$ 0,01 para leitura de cache
  • Também pode ser usado no Kilo, Hermes Agent, pi, OpenCode, OpenClaw, Cline e no agente de codificação de terminal pool
  • O pós-treinamento oferece suporte ao NVIDIA NeMo AutoModel e ao Prime Intellect Prime Lab; o ZML LLMD oferece suporte à execução em diversos hardwares
  • Usuários que não são desenvolvedores podem usar busca na web e recursos básicos de execução de código em chat.poolside.ai sem login
  • Os pesos do modelo base antes do pós-treinamento são disponibilizados mediante solicitação por e-mail

Condições de execução dos benchmarks

  • Foi usado um fork interno do Harbor Framework, o harness de agente pool, até 500 etapas e um sandbox interno
  • SWE-bench Multilingual, SWE-Bench Pro e Terminal-Bench 2.1 usam a média de pass@1 de 4 execuções por tarefa
  • DeepSWE v1.1 e SWE Atlas usam 3 execuções por tarefa, e Toolathlon Verified aplica a média de 3 execuções
  • SWE Atlas segue a metodologia pública exatamente e é julgado pelo Opus 4.5
  • Toolathlon Verified usou um harness replicado no EC2 e um agente customizado; diferentemente da versão oficial, o ambiente é completamente reinicializado e restaurado após cada execução de avaliação
  • Para evitar preempção do sandbox, os limites de CPU, memória e armazenamento foram ajustados por benchmark, garantindo no mínimo 2 núcleos de CPU, 8GB de memória e 25GB de armazenamento
  • Correções para tarefas individuais estão documentadas no relatório técnico

Leituras relacionadas

1 comentários

 
GN⁺ 5 시간 전
Opiniões no Hacker News
  • Estou testando agora e, no mínimo, parece estar em nível de competir com o DS4-Flash. Em uma base de testes em C pequena, mas com altíssima densidade de significado, encontrou um problema que antes só o gpt-5.2 tinha achado, mas também fez o julgamento absurdo de que memfd_create()/mmap tinha sido usado para IPC, e o Sol também deixou passar até eu apontar
    A comparação com o DeepSeek V4 pode mudar num instante neste ambiente que muda rapidamente, já que tanto o Flash quanto o Pro devem passar em breve por bastante pós-treinamento e ser lançados oficialmente. Espero que continuem saindo modelos assim
    • Fico curioso para saber qual test harness e método de quantização foram usados
  • Impressionante e, de longe, o destaque entre os lançamentos de hoje; está em um nível que supera os novos produtos do Google. A competitividade de preço, em especial, é surpreendente, e estou bem animado por ser o primeiro modelo dos EUA capaz de brigar com o DeepSeek V4 Flash
  • Este modelo não é brincadeira, e já gerou um PR que pode ser usado em trabalho real
    https://github.com/mozilla-ai/otari/pull/348
  • Impressionante e, com esse tamanho, parece possível rodá-lo até em hardware doméstico realista. Mesmo aceitando alguma perda de desempenho, seria bom surgir uma quantização para ambientes com 64GB
    Houve avaliações dizendo que a versão de 2 bits do Qwen 3.5 122B também era razoável, e este modelo parte de um ponto mais alto, então vale testar. Já há alguém trabalhando nisso: https://huggingface.co/vcruz305/Laguna-S-2.1-GGUF
  • MoE com 118B parâmetros e apenas 8B ativos, inferência com contexto longo e pesos abertos: é uma combinação muito bem-vinda. É a primeira vez que ouço falar desse laboratório, mas ele parece estar perto do ponto ideal entre tamanho e desempenho do modelo, então quero muito testar
    • Se os números de desempenho publicados forem verdadeiros, então finalmente saiu o modelo que eu queria
  • Era exatamente disso que eu precisava: um modelo intermediário com self-hosting realista, inteligência suficiente e MoE rápido mesmo com largura de banda de memória limitada
    Até agora, no Strix Halo, não havia uma opção claramente melhor do que rodar modelos densos Gemma 4 ou Qwen 3.6 em um desktop com duas GPUs de 32GB, mas este modelo parece ter tamanho suficiente para trazer ganhos reais de desempenho
  • É preciso tomar cuidado ao testar o modelo. Nas configurações padrão, o recurso de raciocínio não é ativado corretamente, então dá para se decepcionar com os resultados ou concluir que os benchmarks são exagerados
    Mesmo colocando --default-chat-template-kwargs '{"enable_thinking": true}' na configuração de execução do vLLM, ele não foi ativado, e o valor padrão de max_new_tokens no generation_config.json incluído é 32k, o que parece cortar o raciocínio; portanto, é preciso aumentá-lo. Ao ativar o raciocínio, a qualidade do código melhorou bastante, embora ainda seja necessária validação adicional em trabalho real
    https://www.reddit.com/r/LocalLLaMA/comments/1v2pg99/laguna_...
    • Logo depois da publicação desse texto, parece que o template de chat padrão no Hugging Face foi alterado para ativar o raciocínio por padrão
    • O modelo oficial oferecido no OpenRouter também parece ter o mesmo problema, e espero que seja fácil corrigir
    • Ao ajustar as configurações de execução, os resultados mudaram bastante
  • É um sinal muito impressionante que um modelo de 128B supere o DeepSeek V4, de 1,6T, na maioria dos benchmarks de programação
    Gosto da forma como a Poolside compara não só com modelos da mesma categoria, mas também com modelos abertos de ponta muito maiores, como o Kimi-K3 de 2,5T. Gostaria que a Mistral e outras fizessem o mesmo
  • Conheci a Poolside há cerca de uma semana, ao descobrir o harness de programação local pool e o modelo MoE de 33B. Ele funcionou de forma rápida e eficaz até em um Mac mini antigo com 32GB, e também pretendo avaliar o modelo grande hospedado
  • O chat da Poolside indicado naquela página pode ser usado aqui: https://chat.poolside.ai