- A Black Forest Labs e a mimic robotics desenvolveram o FLUX-mimic, testado e implantado no ambiente de produção da Audi, combinando previsão de ações robóticas ao backbone FLUX 3, treinado conjuntamente com imagem, vídeo e áudio
- Por meio da previsão de vídeo, que responde por mais de 95% da computação total de treinamento, o modelo aprende contato, movimento, peso e causalidade; ações robóticas de baixa dimensão também são tratadas como uma modalidade adicional que representa a mesma realidade física
- Logo após a adição da previsão de ações, a qualidade da geração de vídeo caiu até 10%, mas voltou ao nível anterior após 3.500 steps, confirmando que um único backbone pode executar geração e previsão de ações em conjunto
- Ao integrar aprendizado generativo e de representação com Self-Flow e conectar um decodificador de ações leve, o sistema alcançou menos de 80 ms de processamento do backbone em uma única NVIDIA RTX 5090, com tempo total de resposta do robô de 101 ms
- Um modelo de mundo treinado em grande escala com vídeo geral e tarefas de manipulação adapta-se a novas tarefas com poucas demonstrações e tenta novamente após falhas, sendo usado em tarefas de produção que tinham alto custo na automação tradicional, como peças flexíveis e manipulação de precisão
Um único backbone para geração de conteúdo e controle robótico
- Depois de FLUX 1 e FLUX 2 se concentrarem na geração de imagens, o FLUX 3 aprende imagem, vídeo e áudio em conjunto desde o início, gerando conteúdo audiovisual de forma conjunta
- A Black Forest Labs forneceu uma versão inicial do FLUX 3 à mimic robotics, e as duas empresas desenvolveram o FLUX-mimic combinando suas competências em aprendizado e implantação robótica e em modelos de base
- A mimic fica responsável por seus próprios robôs, aprendizado robótico, manipulação sofisticada e implantação em ambientes de produção
- A Black Forest Labs fornece capacidades de modelos visuais, aprendizado multimodal e modelagem
- O FLUX-mimic é um modelo de vídeo-ação para manipulação geral baseado no backbone FLUX 3, integrado ao sistema de implantação full-stack da mimic
- O mesmo backbone gera conteúdo de imagem, vídeo e áudio e, ao mesmo tempo, executa ações em Physical AI
O mundo físico aprendido por previsão de vídeo
- Mais de 95% da computação de treinamento do FLUX 3 é usada para previsão de vídeo
- Para criar vídeos realistas, é preciso aprender contato, movimento, peso, causa e efeito; quando isso é tratado incorretamente, o vídeo resultante também fica pouco natural
- O processo de renderizar o mundo com precisão está ligado ao processo de aprender como o mundo funciona
- O áudio é uma modalidade de baixa dimensão que representa menos de 0,5% dos tokens em vídeos 720p com som
- Um modelo que entende vídeo consegue aprender as relações causais entre fala sincronizada com movimentos dos lábios e efeitos sonoros associados a eventos físicos
- A ação robótica também é uma representação de estado de baixa dimensão estreitamente acoplada às observações visuais
- Ações, áudio e quadros de vídeo representam parcialmente uma única realidade física
- Em vez de criar um modelo de base separado, a previsão de ações conecta mais uma forma de observação ao modelo de mundo existente
Qualidade de geração recuperada após o aprendizado de ações
- Quando a previsão de ações foi adicionada ao treinamento em grande escala, as pontuações de avaliação humana para geração texto-vídeo e imagem-vídeo inicialmente caíram até 10%
- À medida que o modelo aprendeu a estrutura do espaço de ações e alinhou sua representação interna do mundo, a qualidade se recuperou; após 3.500 steps, ele chegou ao nível anterior de geração de vídeo e também passou a prever ações
- Houve confusão temporária durante a integração de ações à entrada e à saída, mas isso não sacrificou permanentemente a capacidade das habilidades existentes
- Não é necessário ter modelos de base separados para geração de vídeo e previsão de ações; o mesmo backbone único realiza as duas tarefas
Estrutura que decodifica ações a partir da representação do mundo
- O FLUX-mimic decodifica ações robóticas a partir da representação interna do mundo que o FLUX 3 aprendeu para geração de vídeo
- Seguindo a abordagem usada primeiro no mimic-video, ele extrai características intermediárias do caminho de previsão de vídeo do FLUX e treina um decodificador de ações leve sobre elas
- O desempenho depende de dois elementos conectados entre si
- Qualidade do modelo de mundo: sem entender como o mundo se move, é difícil realizar simulações precisas, e isso se conecta diretamente à qualidade da geração
- Qualidade da representação: se as relações causais entre modalidades ficam entrelaçadas de forma não linear no espaço de características, o decodificador de ações precisa interpretá-las com uma dificuldade comparável à de lidar com entradas brutas
- Modelos generativos oferecem simulações de alta qualidade e leis de escalabilidade previsíveis conforme a computação aumenta, mas podem produzir representações menos separadas do que métodos especializados de aprendizado de representação, limitando sua utilidade em tarefas posteriores que exigem compreensão do mundo
Aprendizado generativo e de representação integrados com Self-Flow
- Self-Flow integra aprendizado generativo e aprendizado de representação em um único framework
- Após sua aplicação, a qualidade do modelo de mundo e da representação melhorou em conjunto
- O desempenho do modelo de mundo, medido pela qualidade de geração de vídeo, imagem e áudio, aumentou
- A qualidade da representação, medida pela taxa de sucesso em tarefas simuladas de controle robótico, também melhorou
- O FLUX 3 expande o Self-Flow para aprender desde o início uma ampla gama de dinâmicas do mundo e capacidades de manipulação
- Dezenas de milhões de horas de conteúdo geral de vídeo
- Centenas de milhares de horas de conteúdo em vídeo focado em manipulação humana e robótica
- Esse treinamento em larga escala amplia os resultados de Self-Flow obtidos em laboratório para ambientes reais de produção e logística
Tarefas de fábrica e desempenho em benchmarks
- A mimic implantou o FLUX-mimic em tarefas reais de fábrica
- Kitting, colocando peças em bandejas estruturadas
- Inserção de unidades de controle eletrônico em dispositivos de fixação com pouca folga
- Montagem de peças
- Manuseio de materiais macios e flexíveis, como fios e cabos
- Mesmo com o backbone FLUX totalmente congelado, o decodificador de ações teve desempenho superior ao de modelos visão-linguagem-ação anteriores, que não conseguiram concluir as tarefas nessa configuração
- Ao ajustar finamente o backbone e o decodificador de ações em conjunto, o FLUX-mimic registrou taxas de sucesso de tarefa de nível máximo
- O treinamento em larga escala fornece ao backbone conhecimento sobre o mundo e as ações, e o Self-Flow torna esse conhecimento fácil de decodificar nas representações de características
Aprende com poucas demonstrações e se recupera de falhas
- Quando as leis físicas já estão contidas em uma representação acessível, adaptar-se a uma nova tarefa passa a ser conectar essa tarefa específica ao conhecimento existente, em vez de reaprender como o mundo funciona
- Em experimentos com Self-Flow, o número de steps de treinamento de previsão de ações necessários para alcançar a mesma taxa de sucesso caiu para metade em comparação com um modelo de vídeo sem Self-Flow
- No artigo sobre mimic-video, modelos de vídeo-ação mostraram eficiência amostral até 10 vezes maior do que modelos visão-linguagem-ação, e o FLUX-mimic combina os dois efeitos
- Se o robô falha ao pegar um objeto, ele consegue fazer uma recuperação natural de falha, ajustando a postura, tentando pegar novamente e concluindo a tarefa
- Como nem todos os tipos de falha podem estar nos dados de demonstração, comportamentos de recuperação não demonstrados surgem de um modelo que já aprendeu como o mundo funciona
Sistema robótico que reage em 101 ms
- Em ambientes reais, o modelo precisa agir na velocidade das mudanças do ambiente, e a maior parte do custo computacional do FLUX-mimic ocorre no backbone, seu maior componente
- Uma representação de mundo bem estruturada permite atingir o mesmo desempenho com menos parâmetros, viabilizando um backbone menor e mais rápido
- O backbone otimizado executa, em uma única NVIDIA RTX 5090, da entrada até a geração da representação do mundo em menos de 80 ms, na mesma escala do tempo de reação visual humano
- A mimic otimizou os seguintes elementos para reduzir atrasos adicionais em toda a pilha de implantação
- Decodificador de ações
- Latência entre processos envolvendo sensores, modelo e atuadores
- Chunking em tempo real, que sobrepõe previsão e execução para evitar interrupções no robô
- Com todas as otimizações aplicadas, o tempo de resposta final é de 101 ms no sistema robótico independente
Aplicação no ambiente de produção da Audi
- Mesmo com um alto nível de automação, a Audi continuou realizando manualmente tarefas envolvendo peças flexíveis e manipulação de precisão
- A produção de produtos premium envolve muitas variações, o que torna caro redesenhar, caso a caso, células robóticas programadas pelos métodos tradicionais
- Sistemas baseados em aprendizado mudam essa estrutura de custos
- O Audi Production Lab trabalhou com a mimic para testar e implantar o FLUX-mimic
- Realizando manipulação complexa de objetos deformáveis que não era possível com robôs convencionais
- Podendo ser usado para apoiar funcionários, melhorar a eficiência e ampliar a automação flexível na produção e na logística
- A eficiência amostral e a robustez do FLUX-mimic vêm do backbone FLUX 3 e de suas representações decodificáveis, não de engenharia específica por tarefa, dando suporte à transferência entre tarefas, setores e hardwares
- Um único modelo de base de inteligência visual gera imagens, vídeos e áudio e, ao mesmo tempo, aciona robôs na linha de produção
1 comentários
Opiniões no Hacker News
Parece que, dentro de um modelo multimodal de geração de vídeo bem treinado, forma-se um modelo de representação do mundo, e extraí-lo e aplicá-lo a robôs também parece funcionar bem.
A ideia de que modelos de vídeo entendem matéria, luz e o mundo não é nova, mas foram raros os casos em que um laboratório de vídeo se transformou em um laboratório de robótica. Pode ser um caminho de negócio: escalar por meio da geração de vídeo e depois usar essa capacidade para treinar robôs.
A mão da BFL, que parece ter vários dispositivos escondidos dentro de uma luva, também é interessante. O Robotics-1 da Xiami cria vídeos de treinamento com um gripper comum e uma luva em formato de gripper, mas o modelo da BFL parece não precisar desse tipo de equipamento. Como hardware é uma área difícil, fico curioso para ver a abordagem daqui para frente.
https://waymo.com/blog/2026/02/the-waymo-world-model-a-new-f...
Luma Labs https://lumalabs.ai/news/luma-open-physical-ai-lab
Runway https://runway.com/product/robotics
Por volta de 3min30s, a cena em que o braço robótico consegue recolocar a moldura da janela depois de três tentativas foi bastante impressionante. É a primeira vez que vejo esse tipo de resolução de problemas após falha, e fico curioso para saber se é uma tecnologia nova.
Na explicação de que “representações menos desentrelaçadas são menos úteis para tarefas que exigem compreensão do mundo”, achei engraçada a frase expressar o conceito de “mais entrelaçado” como representações menos desentrelaçadas. Ao descrever o mundo real, tornar o próprio conceito ainda mais entrelaçado parece uma formulação bem típica de LLM.
Fico triste que a tecnologia tenha avançado tanto, enquanto os filmes parecem piores do que nunca. Às vezes assisto a filmes de décadas atrás para encontrar algo bom, e mesmo usando bonecos ridículos, a construção da história era 1.000 vezes melhor.
Isso não é um problema só do venture capital; tem relação com o chamado Hollywood No. Por outro lado, o próprio Hollywood No pode ser o problema, e na indústria de jogos isso tem sido chamado de positividade tóxica.
É bom ver colaboração entre startups europeias.
Isto é o futuro e, ao mesmo tempo, já é o presente. Espero que compartilhem isso também com conhecidos que estão fora do desenvolvimento de software e da engenharia.
Estamos correndo de frente rumo a uma crise em que o valor dos humanos que não possuem os meios de produção cairá ainda mais. Tempos sombrios parecem estar chegando.