1 pontos por GN⁺ 3 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • A Black Forest Labs e a mimic robotics desenvolveram o FLUX-mimic, testado e implantado no ambiente de produção da Audi, combinando previsão de ações robóticas ao backbone FLUX 3, treinado conjuntamente com imagem, vídeo e áudio
  • Por meio da previsão de vídeo, que responde por mais de 95% da computação total de treinamento, o modelo aprende contato, movimento, peso e causalidade; ações robóticas de baixa dimensão também são tratadas como uma modalidade adicional que representa a mesma realidade física
  • Logo após a adição da previsão de ações, a qualidade da geração de vídeo caiu até 10%, mas voltou ao nível anterior após 3.500 steps, confirmando que um único backbone pode executar geração e previsão de ações em conjunto
  • Ao integrar aprendizado generativo e de representação com Self-Flow e conectar um decodificador de ações leve, o sistema alcançou menos de 80 ms de processamento do backbone em uma única NVIDIA RTX 5090, com tempo total de resposta do robô de 101 ms
  • Um modelo de mundo treinado em grande escala com vídeo geral e tarefas de manipulação adapta-se a novas tarefas com poucas demonstrações e tenta novamente após falhas, sendo usado em tarefas de produção que tinham alto custo na automação tradicional, como peças flexíveis e manipulação de precisão

Um único backbone para geração de conteúdo e controle robótico

  • Depois de FLUX 1 e FLUX 2 se concentrarem na geração de imagens, o FLUX 3 aprende imagem, vídeo e áudio em conjunto desde o início, gerando conteúdo audiovisual de forma conjunta
  • A Black Forest Labs forneceu uma versão inicial do FLUX 3 à mimic robotics, e as duas empresas desenvolveram o FLUX-mimic combinando suas competências em aprendizado e implantação robótica e em modelos de base
    • A mimic fica responsável por seus próprios robôs, aprendizado robótico, manipulação sofisticada e implantação em ambientes de produção
    • A Black Forest Labs fornece capacidades de modelos visuais, aprendizado multimodal e modelagem
  • O FLUX-mimic é um modelo de vídeo-ação para manipulação geral baseado no backbone FLUX 3, integrado ao sistema de implantação full-stack da mimic
  • O mesmo backbone gera conteúdo de imagem, vídeo e áudio e, ao mesmo tempo, executa ações em Physical AI

O mundo físico aprendido por previsão de vídeo

  • Mais de 95% da computação de treinamento do FLUX 3 é usada para previsão de vídeo
    • Para criar vídeos realistas, é preciso aprender contato, movimento, peso, causa e efeito; quando isso é tratado incorretamente, o vídeo resultante também fica pouco natural
    • O processo de renderizar o mundo com precisão está ligado ao processo de aprender como o mundo funciona
  • O áudio é uma modalidade de baixa dimensão que representa menos de 0,5% dos tokens em vídeos 720p com som
    • Um modelo que entende vídeo consegue aprender as relações causais entre fala sincronizada com movimentos dos lábios e efeitos sonoros associados a eventos físicos
  • A ação robótica também é uma representação de estado de baixa dimensão estreitamente acoplada às observações visuais
    • Ações, áudio e quadros de vídeo representam parcialmente uma única realidade física
    • Em vez de criar um modelo de base separado, a previsão de ações conecta mais uma forma de observação ao modelo de mundo existente

Qualidade de geração recuperada após o aprendizado de ações

  • Quando a previsão de ações foi adicionada ao treinamento em grande escala, as pontuações de avaliação humana para geração texto-vídeo e imagem-vídeo inicialmente caíram até 10%
  • À medida que o modelo aprendeu a estrutura do espaço de ações e alinhou sua representação interna do mundo, a qualidade se recuperou; após 3.500 steps, ele chegou ao nível anterior de geração de vídeo e também passou a prever ações
  • Houve confusão temporária durante a integração de ações à entrada e à saída, mas isso não sacrificou permanentemente a capacidade das habilidades existentes
  • Não é necessário ter modelos de base separados para geração de vídeo e previsão de ações; o mesmo backbone único realiza as duas tarefas

Estrutura que decodifica ações a partir da representação do mundo

  • O FLUX-mimic decodifica ações robóticas a partir da representação interna do mundo que o FLUX 3 aprendeu para geração de vídeo
  • Seguindo a abordagem usada primeiro no mimic-video, ele extrai características intermediárias do caminho de previsão de vídeo do FLUX e treina um decodificador de ações leve sobre elas
  • O desempenho depende de dois elementos conectados entre si
    • Qualidade do modelo de mundo: sem entender como o mundo se move, é difícil realizar simulações precisas, e isso se conecta diretamente à qualidade da geração
    • Qualidade da representação: se as relações causais entre modalidades ficam entrelaçadas de forma não linear no espaço de características, o decodificador de ações precisa interpretá-las com uma dificuldade comparável à de lidar com entradas brutas
  • Modelos generativos oferecem simulações de alta qualidade e leis de escalabilidade previsíveis conforme a computação aumenta, mas podem produzir representações menos separadas do que métodos especializados de aprendizado de representação, limitando sua utilidade em tarefas posteriores que exigem compreensão do mundo

Aprendizado generativo e de representação integrados com Self-Flow

  • Self-Flow integra aprendizado generativo e aprendizado de representação em um único framework
  • Após sua aplicação, a qualidade do modelo de mundo e da representação melhorou em conjunto
    • O desempenho do modelo de mundo, medido pela qualidade de geração de vídeo, imagem e áudio, aumentou
    • A qualidade da representação, medida pela taxa de sucesso em tarefas simuladas de controle robótico, também melhorou
  • O FLUX 3 expande o Self-Flow para aprender desde o início uma ampla gama de dinâmicas do mundo e capacidades de manipulação
    • Dezenas de milhões de horas de conteúdo geral de vídeo
    • Centenas de milhares de horas de conteúdo em vídeo focado em manipulação humana e robótica
  • Esse treinamento em larga escala amplia os resultados de Self-Flow obtidos em laboratório para ambientes reais de produção e logística

Tarefas de fábrica e desempenho em benchmarks

  • A mimic implantou o FLUX-mimic em tarefas reais de fábrica
    • Kitting, colocando peças em bandejas estruturadas
    • Inserção de unidades de controle eletrônico em dispositivos de fixação com pouca folga
    • Montagem de peças
    • Manuseio de materiais macios e flexíveis, como fios e cabos
  • Mesmo com o backbone FLUX totalmente congelado, o decodificador de ações teve desempenho superior ao de modelos visão-linguagem-ação anteriores, que não conseguiram concluir as tarefas nessa configuração
  • Ao ajustar finamente o backbone e o decodificador de ações em conjunto, o FLUX-mimic registrou taxas de sucesso de tarefa de nível máximo
  • O treinamento em larga escala fornece ao backbone conhecimento sobre o mundo e as ações, e o Self-Flow torna esse conhecimento fácil de decodificar nas representações de características

Aprende com poucas demonstrações e se recupera de falhas

  • Quando as leis físicas já estão contidas em uma representação acessível, adaptar-se a uma nova tarefa passa a ser conectar essa tarefa específica ao conhecimento existente, em vez de reaprender como o mundo funciona
  • Em experimentos com Self-Flow, o número de steps de treinamento de previsão de ações necessários para alcançar a mesma taxa de sucesso caiu para metade em comparação com um modelo de vídeo sem Self-Flow
  • No artigo sobre mimic-video, modelos de vídeo-ação mostraram eficiência amostral até 10 vezes maior do que modelos visão-linguagem-ação, e o FLUX-mimic combina os dois efeitos
  • Se o robô falha ao pegar um objeto, ele consegue fazer uma recuperação natural de falha, ajustando a postura, tentando pegar novamente e concluindo a tarefa
    • Como nem todos os tipos de falha podem estar nos dados de demonstração, comportamentos de recuperação não demonstrados surgem de um modelo que já aprendeu como o mundo funciona

Sistema robótico que reage em 101 ms

  • Em ambientes reais, o modelo precisa agir na velocidade das mudanças do ambiente, e a maior parte do custo computacional do FLUX-mimic ocorre no backbone, seu maior componente
  • Uma representação de mundo bem estruturada permite atingir o mesmo desempenho com menos parâmetros, viabilizando um backbone menor e mais rápido
  • O backbone otimizado executa, em uma única NVIDIA RTX 5090, da entrada até a geração da representação do mundo em menos de 80 ms, na mesma escala do tempo de reação visual humano
  • A mimic otimizou os seguintes elementos para reduzir atrasos adicionais em toda a pilha de implantação
    • Decodificador de ações
    • Latência entre processos envolvendo sensores, modelo e atuadores
    • Chunking em tempo real, que sobrepõe previsão e execução para evitar interrupções no robô
  • Com todas as otimizações aplicadas, o tempo de resposta final é de 101 ms no sistema robótico independente

Aplicação no ambiente de produção da Audi

  • Mesmo com um alto nível de automação, a Audi continuou realizando manualmente tarefas envolvendo peças flexíveis e manipulação de precisão
  • A produção de produtos premium envolve muitas variações, o que torna caro redesenhar, caso a caso, células robóticas programadas pelos métodos tradicionais
    • Sistemas baseados em aprendizado mudam essa estrutura de custos
  • O Audi Production Lab trabalhou com a mimic para testar e implantar o FLUX-mimic
    • Realizando manipulação complexa de objetos deformáveis que não era possível com robôs convencionais
    • Podendo ser usado para apoiar funcionários, melhorar a eficiência e ampliar a automação flexível na produção e na logística
  • A eficiência amostral e a robustez do FLUX-mimic vêm do backbone FLUX 3 e de suas representações decodificáveis, não de engenharia específica por tarefa, dando suporte à transferência entre tarefas, setores e hardwares
  • Um único modelo de base de inteligência visual gera imagens, vídeos e áudio e, ao mesmo tempo, aciona robôs na linha de produção

1 comentários

 
GN⁺ 3 시간 전
Opiniões no Hacker News
  • Parece que, dentro de um modelo multimodal de geração de vídeo bem treinado, forma-se um modelo de representação do mundo, e extraí-lo e aplicá-lo a robôs também parece funcionar bem.
    A ideia de que modelos de vídeo entendem matéria, luz e o mundo não é nova, mas foram raros os casos em que um laboratório de vídeo se transformou em um laboratório de robótica. Pode ser um caminho de negócio: escalar por meio da geração de vídeo e depois usar essa capacidade para treinar robôs.
    A mão da BFL, que parece ter vários dispositivos escondidos dentro de uma luva, também é interessante. O Robotics-1 da Xiami cria vídeos de treinamento com um gripper comum e uma luva em formato de gripper, mas o modelo da BFL parece não precisar desse tipo de equipamento. Como hardware é uma área difícil, fico curioso para ver a abordagem daqui para frente.

  • Por volta de 3min30s, a cena em que o braço robótico consegue recolocar a moldura da janela depois de três tentativas foi bastante impressionante. É a primeira vez que vejo esse tipo de resolução de problemas após falha, e fico curioso para saber se é uma tecnologia nova.

  • Na explicação de que “representações menos desentrelaçadas são menos úteis para tarefas que exigem compreensão do mundo”, achei engraçada a frase expressar o conceito de “mais entrelaçado” como representações menos desentrelaçadas. Ao descrever o mundo real, tornar o próprio conceito ainda mais entrelaçado parece uma formulação bem típica de LLM.

    • Isso já chegou ao ponto de procurar, sem base, sinais de LLM em cada frase. Já está na hora de presumir que todo texto recebeu algum grau de ajuda de LLM e avaliar apenas a qualidade do resultado.
    • Pessoas também escrevem frases estranhas com frequência. Na verdade, esse tipo de expressão pode ser raro nos dados de treinamento, então a probabilidade de um LLM criá-la talvez seja menor do que a de uma pessoa.
    • Era uma piada.
    • O travessão no original também é claramente prova de que um LLM escreveu esse comentário /s
  • Fico triste que a tecnologia tenha avançado tanto, enquanto os filmes parecem piores do que nunca. Às vezes assisto a filmes de décadas atrás para encontrar algo bom, e mesmo usando bonecos ridículos, a construção da história era 1.000 vezes melhor.

    • Pode ser viés de sobrevivência, porque você não assiste aos filmes antigos ruins de que ninguém se lembra.
    • Você recusaria investir na BFL porque Robin Rombach não entende de produção cinematográfica? O Sora acabou, e também é difícil encontrar alguém com coragem para dizer publicamente que Bill Peebles não entende de produção cinematográfica.
      Isso não é um problema só do venture capital; tem relação com o chamado Hollywood No. Por outro lado, o próprio Hollywood No pode ser o problema, e na indústria de jogos isso tem sido chamado de positividade tóxica.
  • É bom ver colaboração entre startups europeias.

    • A Flux não foi adquirida pela Meta?
  • Isto é o futuro e, ao mesmo tempo, já é o presente. Espero que compartilhem isso também com conhecidos que estão fora do desenvolvimento de software e da engenharia.

  • Estamos correndo de frente rumo a uma crise em que o valor dos humanos que não possuem os meios de produção cairá ainda mais. Tempos sombrios parecem estar chegando.