Inkling: o modelo de pesos abertos da Thinking Machines Lab
(thinkingmachines.ai)- Inkling, treinado do zero com todos os pesos divulgados, é um Transformer MoE com 975B de parâmetros totais e 41B ativos, com suporte a contexto de até 1M de tokens e raciocínio baseado em texto, imagem e áudio
- Foi pré-treinado com 45 trilhões de tokens compostos por texto, imagem, áudio e vídeo, priorizando generalidade e possibilidade de customização em tarefas de agentes, raciocínio, coding, seguimento de instruções e factualidade, em vez de otimizar para benchmarks específicos
- O nível de esforço de raciocínio pode ser ajustado na faixa de 0.2 a 0.99 para equilibrar custo, latência e desempenho; no Terminal Bench 2.1, alcança desempenho semelhante ao Nemotron 3 Ultra usando cerca de um terço dos tokens
- Embora não seja hoje o modelo aberto ou fechado mais poderoso, ele busca servir como uma base de pesos abertos que combina capacidades multimodais, raciocínio eficiente, ajuste fino com Tinker e várias ferramentas de inferência e implantação
- A prévia do Inkling-Small, lançada junto, tem 276B de parâmetros totais e 12B ativos, obtendo resultados semelhantes ou superiores ao modelo maior em várias avaliações; os pesos completos serão divulgados após o fim dos testes
Um modelo geral com todos os pesos divulgados
- A Thinking Machines Lab divulgou os pesos completos do Inkling, treinado do zero para que pessoas possam customizar diretamente o modelo de IA
- Inkling é um Transformer Mixture-of-Experts com 975B de parâmetros no total, dos quais 41B são ativados por token
- A janela de contexto máxima é de 1M de tokens
- Foi pré-treinado com 45 trilhões de tokens compostos por texto, imagem, áudio e vídeo
- Faz raciocínio conjunto com texto, imagem e áudio como entradas nativas
- Em vez de focar em um domínio específico, foi treinado como um modelo base equilibrado que cobre tarefas de agentes, raciocínio, coding, seguimento de instruções, factualidade, visão e áudio
- Não é o modelo mais poderoso entre os modelos abertos e fechados, e sim um modelo voltado à customização, combinando capacidades multimodais, raciocínio eficiente e ajuste fino com Tinker
- É o primeiro lançamento de uma família de modelos que será expandida em vários tamanhos, e uma prévia do Inkling-Small mais leve também foi divulgada
- É possível ajustar o Inkling diretamente no Tinker, e conversar com ele no Inkling Playground do console do Tinker para observar as características do modelo
- Na demonstração de customização, o Inkling usou o Tinker para escrever, executar e avaliar seu próprio trabalho de ajuste fino, operando dentro do harness OpenCode
Agentes gerais e criação de entregáveis
- Para permitir ajuste fino conforme diferentes fluxos de trabalho e produtos, o foco foi em amplo desempenho em tarefas em vez do melhor resultado absoluto em uma única área
- Durante o treinamento em coding e em harnesses de agentes, os conjuntos de ferramentas e esquemas foram randomizados para reduzir a sensibilidade a um harness específico
- O nível de esforço de raciocínio também pode ser definido dentro do próprio harness
- O modelo obteve pontuações competitivas entre os modelos de pesos abertos na maioria dos benchmarks de agentes
- Com um único prompt, ele criou um app web para candidatura a vagas e embutiu no app um agente de uso do navegador que preenche formulários com um perfil salvo a partir de instruções em linguagem natural
- Ficou entre os modelos abertos fortes no leaderboard Agentic Web Dev da Design Arena, que compara em testes cegos e um contra um os apps web gerados
- Gera entregáveis com múltiplas páginas, como um diário em PDF de 9 páginas sobre comida e viagem, mantendo execução precisa de instruções e estilo consistente
- Melhorou um jogo online multiplayer de Snake com servidor em tempo real, bots e leaderboard ao incorporar 40 rodadas de feedback fornecido pelo GPT Codex como revisor
- A capacidade de sustentar longos ciclos iterativos de melhoria e evoluir o resultado com feedback é vista como central para trabalho colaborativo
Esforço de raciocínio ajustável para custo e desempenho
- Em aplicações reais, não só o melhor desempenho importa: custo por token e latência também são restrições, especialmente porque baixa latência é importante para colaboração e iteração
- O esforço de raciocínio pode ser ajustado entre 0.2 e 0.99 para escolher o equilíbrio entre desempenho e número de tokens gerados
- Foram comparados desempenho por nível de esforço e média de tokens gerados no Terminal Bench 2.1, Humanity’s Last Exam(HLE) e IFBench
- No Terminal Bench 2.1, alcançou desempenho equivalente ao Nemotron 3 Ultra com cerca de um terço dos tokens
- Os resultados de HLE foram medidos em um checkpoint anterior ao release final e, por isso, são um pouco inferiores aos do modelo final
- Ao chamar o modelo milhões de vezes ou incluí-lo em fluxos de trabalho longos, é possível escolher configurações por caso de uso com base na curva completa de custo e desempenho, não apenas na melhor pontuação isolada
Arquitetura multimodal nativa sem encoder
- Foi treinado como multimodal desde o início para poder servir como modelo de raciocínio em segundo plano do interaction models system, que dá suporte a colaboração em tempo real por voz e visão
- Tanto visão quanto áudio usam uma arquitetura sem encoder separado
- O áudio entra como espectrograma dMel
- As imagens são codificadas em patches de 40×40 pixels por um hMLP de 4 camadas, seguindo o design de pesquisas relacionadas a Vision Transformer
- As duas entradas passam por uma camada leve de embedding antes de serem processadas junto com os tokens de texto
- Em áudio, oferece suporte a transcrição de fala, execução de instruções por voz, perguntas e respostas sobre gravações e raciocínio sobre áudios longos
- Em effort=0.99, registrou 56.6% em Audio MC, 77.2% em MMAU e 91.4% em VoiceBench
- Com base em VoiceBench, MMAU e Audio MC, está entre os modelos de áudio de pesos abertos mais fortes
- Em visão, faz não só descrição de imagens e perguntas e respostas, mas também raciocínio visual sobre gráficos, diagramas e matemática
- MMMU Pro Standard 10 ficou em 73.5%, e Charxiv RQ em 78.1%
- Ao usar manipulações de imagem em Python, como zoom e recorte, o Charxiv RQ sobe para 82.0%
- Há planos para continuar expandindo as capacidades multimodais em modelos e pipelines de treinamento futuros
Calibração de confiança e tratamento da incerteza
- As características epistêmicas (epistemics) do Inkling tratam em conjunto de confiança calibrada, seguimento de instruções e resistência à censura
- Se um modelo demonstra excesso de confiança em todas as respostas, o usuário precisa verificar tudo sempre que houver falta de informação ou invenção de conteúdo; por isso, a calibração probabilística foi aprendida com RL que aplica regras de avaliação adequadas a perguntas reais já resolvidas
- Os resultados de avaliação preditiva, realizados entre 30 de junho e 13 de julho de 2026 com um checkpoint diferente da versão pública, foram os seguintes
- Sem busca, o ForecastBench Brier Index foi 61.1±0.79; com busca, 63.7±0.82
- O Prophet Arena Brier Score foi 0.1617, em que menor é melhor
- Para seguir instruções em perguntas complexas e difíceis de verificar, foram usados dois avaliadores automáticos: rubric grader e claims grader
- O rubric grader avalia com uma checklist os itens necessários em uma boa resposta, mas é vulnerável a respostas que despejam muitos fatos aparentemente relevantes para maximizar a nota
- O claims grader usa busca web por agente para verificar cada afirmação factual e penaliza afirmações não confirmadas
- Os dois avaliadores foram usados em conjunto para aumentar a utilidade e reduzir alucinações
- Para aprender diretamente incerteza calibrada em respostas longas, também foram usados dados curtos de perguntas e respostas factuais com recompensas sensíveis à abstenção (abstention-aware rewards)
- Só vale a pena responder quando há alta probabilidade de acerto; se houver incerteza, é melhor dizer “não sei” ou apresentar um palpite condicional
- Alguns prompts incentivam ou proíbem linguagem de ressalva, para seguir a preferência do usuário entre palpite forçado e não resposta calibrada
- O modelo também foi treinado para responder diretamente sobre temas que podem ser alvo de censura, mostrando um forte padrão de não conformidade à censura na Propaganda and Censorship Eval da Cognition
Avaliação de capacidades de risco e comportamento de segurança
- Depois de treinado com uma especificação interna de comportamento de segurança aplicável a todos os formatos de entrada, os resultados foram validados por avaliadores externos de segurança
- A avaliação de capacidades de risco inclui CBRN, cibersegurança e perda de controle; as ameaças entre pessoas e IA cobrem tendência à bajulação, usuários vulneráveis e manipulação nociva
- Os principais resultados de segurança em effort=0.99 foram os seguintes
- FORTRESS Adversarial 78.0%
- FORTRESS Benign 95.9%
- StrongREJECT 98.6%
- Entre os modelos de pesos abertos usados como comparação, mostrou as proteções embutidas mais fortes no FORTRESS, recusando mais pedidos nocivos ligados a armas e violência e reduzindo recusas excessivas a pedidos legítimos superficialmente parecidos
- No StrongREJECT, que mede recusa a pedidos claramente nocivos, ficou acima de 98%, em nível semelhante ao de outros modelos abertos e fechados
- Em modelos customizados, a equipe seguirá estudando como o ajuste fino afeta o comportamento de segurança e o aumento de capacidades
Benchmarks completos e condições de medição
- Todas as avaliações básicas foram executadas com effort=0.99, temperature=1.0, e nas avaliações de coding foi aplicado um limite de trajetória de trabalho de até 256K tokens
- Para HLE, GPQA Diamond, GDPVal, Tau 3 Banking, AA Omniscience e MMMU Pro, foram usados, quando possível, os scores reportados externamente pela Artificial Analysis
- Os principais scores do Inkling são os seguintes
- Raciocínio: HLE somente texto 29.7%, uso de ferramentas 46.0%, AIME 2026 97.1%, GPQA Diamond 87.2%
- Coding com agentes: SWEBench Verified 77.6%, SWEBench Pro Public 54.3%, Terminal Bench 2.1 63.8%
- Agentes gerais: GDPVal-AA v2 1238, MCP Atlas 74.1%, Tau 3 Banking 23.7%, BrowseComp com gerenciamento de contexto 77.1%
- Factualidade e conversa: SimpleQA Verified 43.9%, AA Omniscience 2.1, IFBench 79.8%, Global-MMLU-Lite 88.7%
- Visão e áudio: MMMU Pro 73.5%, Charxiv RQ com Python 82.0%, Audio MC 56.6%, MMAU 77.2%, VoiceBench 91.4%
- Ao interpretar os resultados, é preciso considerar as seguintes diferenças nas condições de avaliação
- O resultado do Inkling em SWEBench Verified foi medido com um harness somente bash, enquanto para modelos externos foram usados scores auto-relatados
- O Terminal Bench 2.1 foi medido com um harness interno de coding, e alguns poucos resultados contaminados por respostas corretas encontradas na busca web foram zerados
- O VoiceBench usa correspondência exata de strings hardcoded e é sensível ao formato de saída, por isso foi adicionada uma system message pedindo que o modelo seguisse o formato de resposta esperado
- Alguns modelos de comparação do Audio MC não estão no leaderboard oficial e foram avaliados internamente
- Claude Fable 5 e GPT 5.6 Sol no CharXiv RQ com Python foram medidos com um harness interno de Python
Arquitetura MoE para contexto longo
- A estrutura MoE do Inkling segue em linhas gerais o DeepSeek-V3, com mudanças voltadas à eficiência e ao desempenho em contextos longos
- Cada camada MoE tem 256 especialistas roteados e 2 especialistas compartilhados, com 6 especialistas roteados ativados por token
- Usa um roteador baseado em sigmoid e viés de balanceamento de carga sem perda auxiliar
- Os scores dos especialistas roteados selecionados e dos especialistas compartilhados são normalizados em conjunto e usados como pesos para combinar a saída
- A atenção alterna camadas de janela deslizante e camadas globais em uma proporção de 5:1, usando 8 KV heads
- Para codificação posicional, adota embeddings de posição relativa em vez do RoPE amplamente usado
- Representações de posição relativa da linha do Music Transformer mostraram melhor desempenho e extrapolação em sequências mais longas
- Convoluções curtas são aplicadas em dois pontos
- Após a projeção de key e value em cada camada de atenção
- Antes de os ramos residuais de atenção e MLP se juntarem ao fluxo residual principal
Pré-treinamento com 45 trilhões de tokens e RL em larga escala
- Foi treinado em sistemas NVIDIA GB300 NVL72 com 45 trilhões de tokens compostos por texto, imagem, áudio e vídeo
- A otimização combina Muon para grandes matrizes de pesos e Adam para os demais parâmetros
- O cronograma de hiperparâmetros foi tirado da pesquisa sobre modular manifolds
- A intensidade de weight decay é vinculada ao quadrado da taxa de aprendizado para manter estável a magnitude total dos pesos mesmo com variações na duração do treinamento
- O pós-treinamento cobre matemática, coding com agentes e uso de ferramentas, áudio, imagem, conversa e segurança
- O SFT inicial usou dados sintéticos gerados por modelos de pesos abertos como o Kimi K2.5
- Esse SFT inicial representa uma pequena parte do compute total; a maior parte foi dedicada a RL em larga escala em ambientes sintéticos e criados por humanos
- O RL assíncrono foi escalado para mais de 30 milhões de rollouts e treinado de forma estável ao longo de duas execuções longas e contínuas
- Um score separado de avaliação de raciocínio, que combina AIME, HLE, GPQA e outros, melhorou de forma log-linear ao longo de todo o processo
- Ao variar a system message e o custo por token, foi possível especificar o esforço por amostra e treinar o modelo para usar diferentes quantidades de tokens, obtendo assim o controle do esforço de raciocínio
- À medida que o RL avançava, o processo de pensamento se tornou uma forma comprimida, com menos conectores gramaticais e artigos, mas preservando compreensibilidade e a resposta final
- Essa mudança não foi um objetivo direto da recompensa, e sim um efeito da pressão por eficiência
- Fenômeno semelhante foi observado no treinamento do SWE-1.7 da Cognition
- Em modelos futuros, há planos de ampliar ainda mais o compute no pré-treinamento, pós-treinamento e RL
Prévia do Inkling-Small, menor e mais rápido
- O Inkling-Small é um modelo MoE com 276B de parâmetros totais e 12B ativos, com custo e latência menores que o Inkling de 41B ativos
- Graças a dados e métodos de pré-treinamento aprimorados, obteve resultados parecidos ou até superiores aos do Inkling maior em vários benchmarks, e os dois modelos usam a mesma stack escalável de pós-treinamento
- Em effort=0.99, os principais resultados em comparação com o modelo maior são os seguintes
- HLE com uso de ferramentas 46.6% contra 46.0%, GPQA Diamond 88.3% contra 87.2%
- MCP-Atlas 74.9% contra 74.1%, IFBench 83.4% contra 79.8%
- Charxiv RQ com Python 83.4% contra 82.0%, MMAU 77.5% contra 77.2%, StrongREJECT 98.8% contra 98.6%
- Também há resultados inferiores ao do modelo maior
- Terminal Bench 2.1 ficou em 52.7% contra 63.8%, e Tau 3 Banking em 13.6% contra 23.7%
- SimpleQA Verified marcou 20.9% contra 43.9%, e Audio MC 49.6% contra 56.6%
- É indicado para tarefas em que custo e latência são importantes, como coding, avaliação por LLM e geração de dados sintéticos para outros modelos
- Os testes ainda estão sendo finalizados, e os pesos completos serão divulgados depois disso
Ecossistema de ajuste fino e implantação
- Problemas especializados de organizações que são difíceis de resolver com um modelo geral podem reduzir essa lacuna com ajuste fino baseado em conhecimento especializado, e o Inkling foi projetado para aprender rápido nesse processo
- No Tinker, o Inkling pode ser usado com contextos de 64K e 256K
- Durante um período limitado, há preço com 50% de desconto
- Os detalhes estão na documentação de modelos do Tinker
- O Tinker cookbook já oferece suporte nativo ao Inkling e adiciona 3 receitas que aproveitam recursos de áudio
- O tml-renderer oferece amostragem e pós-treinamento robustos para chamadas de ferramentas, conteúdo de raciocínio e entradas multimodais
- O Inkling Playground é uma interface de conversa com busca web por agente integrada e será gratuito por tempo limitado
- Checkpoints ajustados no Tinker podem ser implantados via APIs da TogetherAI, Fireworks, Modal, Databricks, Baseten
- Também há suporte ao ecossistema open source de inferência e RL
- Em parceria com a RadixArk, há suporte a SGLang e Miles
- Integrações com Inferact e vLLM, Lightseek e TokenSpeed, Unsloth e llama.cpp
- Há suporte à integração com o Hugging Face e transformers
- No repositório do Inkling no Hugging Face, é possível baixar os checkpoints originais e os checkpoints NVFP4 para inferência eficiente em NVIDIA Blackwell
1 comentários
Opiniões no Hacker News
É bom ver o maior modelo multimodal de pesos abertos com suporte a áudio, e fico curioso para saber quão bom é o desempenho real em áudio.
Para executá-lo localmente, estes materiais podem ajudar:
https://github.com/danielhanchen/llama.cpp/tree/add-inkling
https://unsloth.ai/docs/models/inkling
https://huggingface.co/unsloth/inkling-GGUF
https://huggingface.co/unsloth/inkling-NVFP4
Dizem que é melhor que o KimiK2.7, mas, mesmo com o GLM5.2 recebendo muita atenção, cerca de metade ainda usa o KimiK2.7. Se os benchmarks forem verdadeiros, ele entra tranquilamente na lista de opções, e espero que supere todos os outros modelos de pesos abertos em algumas áreas.
Os EUA também precisam de seu próprio DeepSeek ou Z.ai. Eu e muitos outros torcemos pelo sucesso dos modelos abertos chineses porque não há outra opção, mas a Thinking Machines talvez possa cumprir esse papel.
A lista atual de modelos de pesos abertos pode ser vista em https://www.arcee.ai/open-source-catalog
Ainda assim, a combinação de API de ajuste fino e modelos de pesos abertos parece, no mínimo, um negócio viável. Se for apenas usar QLoRA ou LoRA, ainda é duvidoso por que a empresa dona de um modelo aberto conseguiria fazer ajuste fino melhor, mas vale acompanhar.
Vejo um modelo base aberto que possa ser ajustado no Tinker como um ótimo modelo de negócio. Empresas podem possuir seus próprios modelos e, em tarefas específicas, obter desempenho acima do estado da arte por um custo muito menor, enquanto a Thinking Machines pode se tornar a principal provedora de infraestrutura e serviços desse ecossistema.
Também é impressionante que o Inkling-Small, menor, alcance desempenho igual ou superior ao de modelos maiores em vários benchmarks graças a melhorias nos dados de pré-treinamento e no método de treinamento. Estou ansioso pela próxima geração dos modelos Thinky.
O desenvolvimento de modelos modernos exige uma variedade surpreendente de trabalhos. Antes, bastava criar uma nova função de perda ou uma pequena mudança de arquitetura, rodar o loop de treinamento e avaliação e publicar o resultado; agora virou uma corrida da Rainha Vermelha, em que só para acompanhar já é preciso um trabalho enorme.
É quase assombroso que cada uma das cerca de 500 etapas seja um pequeno loop de otimização. Por causa disso, a antiga regra de que equipes pequenas são mais rápidas que equipes grandes também foi invertida, e IA precisa de equipes grandes. A inércia organizacional só se torna um problema quando o número de pessoas passa de milhares; antes disso, é difícil lidar com tantos componentes apenas com 12 talentos brilhantes.
É bom ver um modelo de pesos abertos forte em contexto longo e multimodalidade. Há muitas aplicações que se beneficiarão do desempenho em áudio, e ele também pode ser forte em aplicações genéricas do tipo agente até que z.ai e outros desenvolvam recursos visuais.
Ainda assim, alguns benchmarks relacionados também mostram pontos fracos. No fim, como acontece com outros modelos, é preciso colocá-lo no próprio harness e avaliar corretamente as tarefas que você considera importantes.
Considerando que é o primeiro modelo e que foi aberto, começo a recuperar a fé em um laboratório de IA aberta dos EUA. Ainda não consegui testá-lo porque não está disponível no OpenRouter e similares, mas, se for no nível do GLM5.1, já é mais do que excelente para uma primeira tentativa.
Parece que, em breve, mais laboratórios poderão alcançar um nível próximo ao estado da arte, e mais concorrência em qualquer área é bem-vinda.
Ainda é um teste muito inicial, mas há mais potencial do que os benchmarks mostram. Quase nunca vi resultados muito melhores nas minhas avaliações privadas do que nas avaliações públicas, exceto em modelos da Anthropic, e ainda é cedo demais para julgar, mas parece que vou investir bastante tempo nele nas próximas semanas.
Entre os modelos de pesos abertos, eu considerava apenas os modelos da Moonshot AI dignos de uso, e o Z.AI não ia tão bem no meu conjunto de tarefas, mas este modelo tem potencial para ser uma segunda opção. Se a Mistral tivesse lançado um modelo assim, acho que os entusiastas europeus, eu incluído, não parariam de falar disso.
Nenhum modelo de outros laboratórios, incluindo Fable 5 e GPT-5.6 Sol, conseguia responder corretamente sem a web, mas, para quem domina essas áreas, é algo de conhecimento comum, com respostas objetivas claras. O fato de ter ficado à frente do Fable 5 em tarefas que não estão em benchmarks públicos e são difíceis de sofrer overfitting é bastante impressionante.
Em especial, a capacidade de seguir instruções parece boa, mas programação parece mais fraca que em outros modelos. Ainda assim, é sempre bom ver mais diversidade entre modelos de pesos abertos, e vou ter que testá-lo diretamente para ver que tipo de perfil ele tem.
Este foi o resultado de pedir: “dê uma olhada na primeira página do Hacker News hoje e crie um briefing diário com um resumo das notícias de tecnologia do dia para eu ler mais tarde”.
https://chat.home.jake.town/artifacts/019f679d-99e5-7000-b02...
No geral, parece melhor que o Nemotron e pior que o GLM, então, por enquanto, parece ser o melhor modelo de pesos abertos dos EUA.
Hoje usei o Hy3 e gostei; foi uma evolução pequena em relação ao DSV4P. Se tiver esse nível de desempenho e ainda suportar multimodalidade, parece bem interessante.