O Moneyball da Physical AI

• Os dados de robôs não podem ser minerados de corpora existentes como texto, e cada hora útil tem um custo, então a eficiência de capital depende menos do volume total coletado e mais de quão precisamente se calcula a utilidade marginal por dólar e a novidade dos dados
• À medida que os dados aumentam, a perda diminui seguindo uma lei de potência, mas a diversidade muda o alcance de generalização e o limite inferior do erro; repetições e duplicatas próximas saturam rapidamente, enquanto casos raros de falha OOD oferecem grande utilidade
• Os dados de implantação em produção seguem uma curva de depleção de poço em que falhas iniciais de alta entropia convergem para sucessos rotineiros e duplicatas próximas, então é preciso selecionar a cauda de falhas em vez de apenas aumentar o tempo de operação
• Como as tarefas iniciais de robôs precisam limitar a variabilidade do ambiente para serem comercialmente viáveis, a dimensionalidade intrínseca e a transferibilidade diminuem; o flywheel de produção de melhorar um modelo geral com a receita da implantação dificilmente funciona sem amplitude de observação externa e diversidade de intervenções
• O orçamento de dados deve ser alocado ampliando o escopo com dados observacionais de baixo custo, coletando teleoperação de alto custo apenas até o ponto de saturação de cada tarefa e, na telemetria de produção, selecionando apenas falhas OOD

---

O preço errado do volume de dados na Physical AI

• Em 2002, o Oakland Athletics conseguiu 103 vitórias com a terceira menor folha salarial da MLB ao identificar a porcentagem de chegadas em base como métrica realmente correlacionada com pontuação, em vez de estética subjetiva, bases roubadas e média de rebatidas, aproveitando o preço errado que o mercado atribuía aos jogadores
• Na Physical AI, o tempo operacional acumulado também é valorizado por ser um indicador visível e fácil de financiar, mas sua correlação com o desempenho real do modelo subjacente é fraca
• Os dados de robôs não podem ser minerados de corpora existentes como os dados de texto, e é preciso pagar por cada hora útil de dados, de modo que o custo cresce linearmente junto com o volume coletado
  • Ken Goldberg estima que modelos de robótica de ponta podem precisar de cerca de 100 mil anos de dados
  • Não é sustentável abastecer os dados supervisionados necessários para AGI apenas com uma infraestrutura massiva de teleoperação manual
• A abordagem de colocar robôs em ambientes de produção e obter telemetria como subproduto da receita operacional pode sofrer o mesmo erro estatístico
  • As tarefas de nicho implantáveis hoje pertencem às áreas de menor variabilidade
  • Os dados gerados ali têm baixa entropia e são correlacionados entre si, portanto têm baixa utilidade marginal
• A métrica equivalente à porcentagem de chegadas em base na Physical AI é a redução marginal de perda por dólar, que reflete ao mesmo tempo as leis de escala e o custo unitário de aquisição de dados

Os interesses que movem a cadeia de suprimento de dados

• Cada participante tem uma visão de dados que faz seu próprio segmento de negócio parecer o mais valioso
  • Os laboratórios de modelos fundacionais vendem a escala de modelos gerais, então veem o pré-treinamento em grande escala e a expansão de computação como caminho para eliminar erros de casos extremos
  • Empresas de teleoperação priorizam o volume bruto de dados porque sua receita cresce com o tempo de operação, não com a utilidade ou a novidade dos dados
  • Fabricantes de hardware tradicionais assumem que o ambiente é normal e estável, porque suas soluções falham fora da distribuição
  • Muitos pesquisadores acadêmicos em robótica acreditam que a lacuna pode ser fechada com física, modelos e controle, mais do que com dados
• O neo-integrator tenta contornar o gargalo de coleta de dados implantando robôs especializados em produção comercial e lidando com falhas por meio de intervenção humana
  • Evan Beard propõe um flywheel econômico em que a telemetria de produção cria a novidade necessária para capacidades multitarefa
  • Kyle Vedder rebate que os ambientes dispostos a pagar pela adoção inicial de robôs são, por natureza, de baixa variabilidade, o que cria a restrição da bomba de novidade (novelty pump)
• Só é possível julgar qual estratégia gera a maior capacidade de modelo por dólar comparando, ao mesmo tempo, as leis de escala empíricas e a economia unitária da aquisição de dados

Três tipos de dados divididos por custo e forma de supervisão

• Dados observacionais têm baixo custo e amplo escopo, como vídeos em primeira ou terceira pessoa, ampliando a cobertura do espaço de representação, mas não oferecem supervisão direta de ações
• Dados de intervenção têm alto custo e escopo mais estreito, como demonstrações por teleoperação, mas contêm explicitamente trajetórias estado-ação, e seu custo cresce proporcionalmente ao trabalho humano
• Dados de implantação são telemetria bruta gerada endogenamente em sistemas de produção
  • Em alguns casos, a própria operação gera prejuízo
  • A distribuição dos dados é determinada pelas condições comerciais de operação, não pelo desenho algorítmico
• Maximizar dados pode aumentar ruído de baixa entropia e reduzir a eficiência do aprendizado
  • No dataset C4 de modelos de linguagem, remover texto padronizado e duplicatas próximas e ampliar o alcance de tokens únicos dentro de um orçamento fixo melhorou o modelo
• O pipeline de dados é um problema de alocação de capital: é preciso avaliar o que se obtém com 1 dólar em cada tipo, onde surgem novas informações e se os dados de implantação podem ampliar o escopo das tarefas

A utilidade dos dados vista pelas leis de escala

• Volume de dados e redução de perda

  • Quando dados, tamanho do modelo e computação aumentam, a perda de teste cai segundo uma lei de potência que forma uma linha reta em escala log-log, mas a magnitude da redução diminui e acaba chegando a um limite inferior

  • A forma combinada de Kaplan 2020 e Hoffmann 2022, para tamanho do modelo (N) e número de tokens (D), é a seguinte

    [ L(N,D)=E+A N^{-\alpha}+B D^{-\beta} ]

  • Na alocação ótima de computação, isso se reduz a um envelope unidimensional em função dos dados

    [ L^{*}(D)=E+\tilde B D^{-\beta} ]

• (E) é a incerteza preditiva que o modelo não consegue eliminar; a forma funcional é consistente, mas os valores são aproximações, como discutido por Besiroglu 2024

• Diversidade e dimensão intrínseca

  • Misturar dados diversos produz simultaneamente dois efeitos independentes do volume de dados
    • reduz o limite inferior de erro assintótico por meio de transferência entre domínios e expansão da cobertura do manifold
    • aumenta a dimensão intrínseca do conjunto de dados (d_{\text{int}})
  • Na faixa limitada por resolução de alvos suaves, vale a relação (\beta \approx 4/d_{\text{int}}), conforme Sharma & Kaplan 2020 e Bahri 2021
  • Se a dimensão intrínseca da tarefa for reduzida pela metade, o expoente de scaling aproximadamente dobra, fazendo a perda cair mais rápido
  • Em contrapartida, isso pode levar à convergência para ótimos inferiores e que não generalizam, portanto não se deve reduzir artificialmente a dimensão intrínseca da distribuição de pré-treinamento
  • A lei de mistura de dados de Ye et al. 2024 decompõe a perda da mistura em leis de potência por domínio e termos de acoplamento entre domínios, e esses termos de acoplamento determinam a transferência positiva e a interferência negativa

• Saturação da repetição e degradação de desempenho

  • Dados repetidos mostram eficiência parecida com a de novos tokens até cerca de 4 epochs, mas depois a utilidade cai rapidamente e acaba degradando a capacidade
  • Muennighoff et al. 2023 ajusta uma forma de saturação exponencial com meia-vida (R^{*}\approx15)
  • Repetir 4 vezes quase não traz perda
  • A partir de 16 repetições, entra-se claramente em uma faixa de retornos decrescentes em que computação extra não cria informação nova
  • Quando o número de exemplos únicos é (U) e o número de repetições é (r=T/U), o tamanho efetivo dos dados é (D_{\text{eff}}=U\cdot f(r)), e (f(r)) satura exponencialmente
  • Segundo Hernandez et al. 2022, repetir em excesso uma parte estreita dos dados provoca double descent local na perda de teste e prejudica os induction heads e copying heads necessários para o aprendizado em contexto
  • Ao repetir 100 vezes 0,1% de todo o corpus, o desempenho em subtarefas de um modelo de 800 milhões de parâmetros caiu para o nível de um modelo de 400 milhões de parâmetros

• Duplicatas próximas e saturação local

  • Duplicatas próximas têm utilidade contínua entre a repetição completa e amostras totalmente novas
  • Lee et al. 2021 identificou casos no C4 em que a mesma frase aparece mais de 60 mil vezes
  • A remoção de duplicatas reduz a memorização literal e acelera a convergência ao alocar o orçamento de tokens para manifolds diferentes
  • Uma pequena variação (\varepsilon) faz com que (x) e (x+\varepsilon) sejam mapeados para o mesmo alvo, funcionando como uma regularização implícita de consistência
    • Variações muito pequenas têm baixa utilidade
    • Variações de tamanho intermediário são úteis para regularização
    • Quando a variação é grande o suficiente, ela passa a ser um dado distinto
  • Amostrar densamente uma vizinhança estreita faz a capacidade local saturar rapidamente e prejudica o desempenho do modelo

• Eventos raros e cauda longa

  • Eventos raros fora da distribuição (OOD) formam a cauda de falhas que limita o desempenho do modelo no limite do scaling, portanto têm alta utilidade marginal
  • Distribuições físicas reais têm cauda longa e, segundo Michaud et al. 2023, capacidades macroscópicas emergem à medida que sub-habilidades que seguem uma distribuição de Zipf são adquiridas em ordem de frequência
  • Segundo Feldman 2020, para alcançar acurácia de fronteira é preciso aprender subgrupos raros que representam uma grande fração de toda a densidade operacional
  • Sorscher et al. 2022 mostra que selecionar amostras de alta dificuldade e baixa frequência pode contornar as restrições típicas de leis de potência
  • Edge cases gerados pela aleatoriedade do mundo real são difíceis de reproduzir com geração sintética ou staging estruturado
  • Quanto mais a distribuição conhecida se amplia, mais exponencialmente raras se tornam as novas variações restantes, elevando drasticamente o custo de descoberta

A economia da utilidade marginal por dólar

• Perda por tarefa e alocação de capital

  • Em modelos de linguagem, computação é a restrição e dados são abundantes, mas em robótica o custo de aquisição de dados úteis é a restrição direta

  • O objetivo geral de capacidade é modelado como a combinação de clusters de tarefas (j) com pesos prévios (\pi_j), e a perda de cada cluster segue a forma abaixo

    [ L_j=A_j(\phi)+B_j(\phi)D_j^{-\beta_j} ]

  • (A_j(\phi)) é o limite inferior sob a configuração de sensoriamento (\phi), (D_j) é o volume de dados e (\beta_j\approx4/d_j) é o expoente determinado pela dimensão intrínseca (d_j)

  • Para alocar capital finito de forma ótima, deve-se gastar de modo que o valor marginal por dólar seja igual em todos os canais de coleta e curadoria

  • Canais de intervenção têm prêmio por supervisão direta de ações, mas como o volume de dados satura rapidamente, seu principal valor econômico vem da transferência de habilidades entre tarefas

  • O custo do canal (i) é (c_i), a função de saturação é (g_i(n_i)) e a projeção de transferência para a tarefa (j) é representada por (w_{ij})

  • À medida que o volume coletado aumenta e (g_i'(n_i)) diminui, a utilidade por dólar também cai

  • Canais observacionais melhoram o espaço de representação sem rótulos de ação e afetam o limite inferior de erro (A_j) e o coeficiente de scaling (B_j)

• O limite inferior de erro determinado pelos sensores

  • O erro estocástico não é um valor absolutamente fixo, mas relativo ao estado de informação observado pelos sensores específicos do robô

  • O limite inferior da tarefa (j) sob a configuração de sensoriamento (\phi) pode ser expresso como a entropia condicional (A_j(\phi)=E[H[a|s_\phi]])

    [ A_j(\phi)=A_j^{\min}+\left(A_j(\phi)-A_j^{\min}\right) ]

  • (A_j^{\min}) é o limite físico que nenhum sensor consegue eliminar, e o restante é a parte que pode ser reduzida com melhor sensoriamento

  • Variações ambientais que sensores de baixa resolução não conseguem distinguir aparecem para o modelo como ruído aleatório, mas sensores de alta resolução as transformam em erro epistemológico aprendível

  • Dados de ação fazem a perda se aproximar de (A_j(\phi)), enquanto sensores melhores reduzem o próprio (A_j(\phi))

  • Para o ponto de equilíbrio de perda da tarefa (L_{\text{neutral}}), é necessário que (A_j(\phi)\ll L_{\text{neutral}}) para que a implantação seja viável

  • Se mesmo com sensoriamento ótimo (A_j^{\min}\ge L_{\text{neutral}}), ampliar o volume de dados não tem efeito

  • Nesse caso, é preciso mudar a configuração de hardware ou escolher outra tarefa operacional

A curva de depleção dos dados de implantação e a armadilha da convergência

• A telemetria de produção se esgota como um poço de petróleo

  • No início da produção, surgem modos de falha de alta entropia, mas à medida que as anomalias são resolvidas, os dados se transformam em duplicatas próximas e repetições, e sua utilidade cai abruptamente

  • A utilidade efetiva da distribuição local satura exponencialmente, como em (U_{\text{eff}}(n)=U_0+\Delta U(1-e^{-n/n_c}))

  • Ao ultrapassar o ponto de saturação ou covering number (n_c), o fluxo de produção converge para dados repetitivos de baixa utilidade

  • O alto valor se concentra na cauda de falhas, enquanto sucessos rotineiros não têm utilidade marginal

  • O custo líquido dos dados de implantação varia conforme a taxa de erro, o custo de perda por intervenção e throughput, e o valor de conclusão da tarefa

    [ c_{\text{dep}}(L)=\rho(L)(\kappa_{\text{int}}+\kappa_{\text{prod}})-\nu ]

• Antes do ponto de equilíbrio em que (c_{\text{dep}}\approx0), a coleta de dados opera no vermelho; por isso, na implantação inicial, é preciso injetar capital externo não como receita operacional, mas como ativo de P&D

  • Em geral, presume-se que a implantação começa com intervenção quando o desempenho chega a 95% e que a rentabilidade surge em 99,5%, mas os dados necessários de (L_{\text{start}}) até (L_{\text{neutral}}) podem aumentar em várias ordens de magnitude por causa da lei de potência
  • Quando a meta de equilíbrio se aproxima do limite inferior de erro e (\Delta_{\text{safe}}=L_{\text{neutral}}-A_j(\phi)\to0), os dados e custos necessários divergem de forma superlinear
  • Tarefas em que (L_{\text{neutral}}\approx A_j(\phi)) tornam-se um sumidouro de capital
  • Antes de ampliar a escala de implantação, é preciso melhorar o escopo dos dados e o sensoriamento

• O choque entre convergência comercial e generalização

  • Para implantar comercialmente um foundation model não ótimo, é necessário limitar artificialmente a variação do ambiente para reduzir a dimensão intrínseca da tarefa
  • Um (d_j) baixo produz um (\beta_j) alto e acelera a convergência, mas converge para uma manifold estreita e não transferível
  • Dados de baixa entropia e correlacionados obtidos em células operacionais estruturadas não ampliam a fronteira de generalização de um modelo geral e prendem o sistema ao nicho inicial
  • Cada tarefa fragmentada e de baixa variabilidade gera custo de engenharia não recorrente (NRE), e para atingir margens semelhantes às de software, o custo marginal de integração das novas tarefas adicionadas em sequência precisa se aproximar de 0
  • Dois vieses de dados criam limites distintos
    • Viés de staging: dados de intervenção têm alta densidade comportamental, mas são artificialmente estruturados, como em simulação ou laboratório, e por isso não capturam as caudas estocásticas de falha do ambiente físico real
    • Viés de distribuição: dados de implantação vêm do ambiente real, mas, para sobreviver comercialmente, ficam restritos a nichos de baixa variabilidade e amostram uma mistura de distribuições incorreta
  • A estratégia de expandir sequencialmente de tarefas estreitas para tarefas amplas só é economicamente viável quando a taxa de aumento das tarefas implantáveis supera o déficit acumulado de NRE
  • Como essa expansão é difícil apenas com dados de implantação de nichos comerciais, é preciso fornecer de fora tanto o escopo observacional, que reduz o limite inferior de erro, quanto a diversidade de intervenção, que amplia a fronteira de generalização, para que o flywheel de produção funcione

Indicadores de densidade de informação que substituem o tempo operacional

• Custo marginal de integração por tarefa acompanha, na contabilidade do projeto, o custo de NRE gerado por cada nova tarefa
  • Se o custo não cai mesmo com o crescimento do portfólio de tarefas, a camada de modelo não está acumulando representações entre tarefas
  • A estrutura do negócio também fica mais próxima de integração linear de sistemas do que de software escalável
• Ponto de saturação por tarefa (n_c) identifica onde a curva de aprendizado por tarefa e ambiente começa a se achatar
  • Interromper a coleta nesse ponto pode reduzir o principal desperdício do orçamento de teleoperação manual
• Taxa de mudança de distribuição (v_j) acompanha a frequência de entradas OOD e de retreinamento
  • Como distribuições-alvo não estacionárias continuam criando novos modos de falha, a telemetria contínua de implantação é a única condição operacional em que uma vantagem de dados pode ser mantida
• Escopo de clusters mede, em vez do número bruto de episódios, quantos clusters ortogonais de tarefa, objeto e ambiente existem em embeddings de dados padronizados
  • A expansão dos clusters ao longo do tempo funciona como indicador indireto de generalização entre domínios
• Densidade de novidade dos dados estima a densidade de informação do fluxo de entrada com heurísticas de active learning, como discordância de ensemble ou variância preditiva sobre estados registrados
  • Ela filtra sucessos rotineiros de baixa entropia e prioriza caudas de falha de alta utilidade
• O limite inferior de erro contingente (A_j(\phi)), que determina a viabilidade, não pode ser medido diretamente
  • É possível ajustar (L(D)=E+BD^{-\beta}) para estimar o assíntota (E), mas o erro de aproximação é grande demais para uso como indicador operacional direto

Ecossistema de robótica dividido por estratégia de dados

• Laboratórios model-first refinam e limpam em larga escala corpora observacionais de diferentes formas robóticas para pré-treinamento, buscando obter generalização acumulativa dentro desse escopo
  • Laboratórios de world model apostam em usar modelos treinados para gerar dados de intervenção baratos
  • Nem o pré-treinamento estático nem a simulação sintética conseguem reproduzir com precisão a cauda de falhas de edge cases contingentes da implantação real
• Empresas verticalmente integradas fazem internamente a coleta e o refinamento de dados em hardware proprietário
  • Dados alinhados ao hardware são eficientes
  • Exceto em domínios intrinsecamente muito variáveis, como direção autônoma, elas caem numa armadilha cíclica de falta de novidade, porque restringem o ambiente a baixa variabilidade para manter a viabilidade comercial
• neo-integrator está bem posicionado para garantir diversidade de tarefas por ter uma base operacional rasa e ampla em vários ambientes industriais
  • É um erro estratégico adotar um modelo de negócio que trate isso apenas como área operacional faturável, e não como ambiente de dados a ser refinado ativamente
• Empresas de teleoperação vendem tempo operacional, então têm incentivo para maximizar o volume bruto de dados mais do que o escopo único de amostras
  • Produzem dados mesmo além do ponto de saturação (n_c) de cada tarefa e, embora forneçam ferramentas de infraestrutura que geram receita local, não criam vantagem de escala
• Fabricantes de hardware incumbentes defendem mercados lucrativos de baixa variabilidade voltados à reprodução determinística de movimento
  • Quase não coletam dados para aprendizado, então não têm caminho para subir pela curva de scaling
• Em Physical AI, a capacidade mais escassa é a identificação e captura da novidade dos dados, e o valor se acumula nas equipes operacionais que selecionam variações OOD, independentemente das fronteiras organizacionais tradicionais entre pesquisa e engenharia de hardware

A diferença entre Physical AI e aplicações de LLM

• Aplicações de software como Cursor e Harvey capturam valor econômico por meio da integração de workflow e da distribuição proprietária, mesmo alugando foundation models no nível do token
• Captura de valor econômico e capacidade do modelo são variáveis separadas, e Physical AI difere das aplicações de software em três eixos

• Dimensão da tarefa e velocidade de saturação

  • Desenvolvimento de software tem alta dimensão intrínseca, então o feedback contínuo de workflow segue oferecendo utilidade marginal
  • Tarefas físicas como picking estruturado em armazéns têm baixa dimensão intrínseca, então o fluxo de dados por tarefa satura rapidamente e entra em rendimentos decrescentes

• Assimetria da camada fundacional

  • Aplicações de software operam a jusante de foundation models gerais, em grande escala e fortemente subsidiados
  • Em Physical AI, não existe uma camada fundacional geral equivalente que possa simplesmente ser alugada, então as implantações robóticas atuais precisam reduzir artificialmente a variabilidade do ambiente para viabilizar a operação
  • As subdistribuições especializadas coletadas assim não geram generalização mais ampla

• Custo de telemetria e margem

  • No software, todo o loop operacional pode ser observado por completo e a baixo custo, incluindo código-fonte, correções do usuário e resultados de compilação
  • A telemetria física tem alto custo de coleta e ainda deixa partes intrinsecamente não observadas por causa da resolução dos sensores
  • Se os dados observacionais básicos de Physical AI permanecerem ativos competitivos e proprietários, a alavancagem se concentrará na camada de modelo a montante
  • Provedores de infraestrutura mantêm poder de precificação proprietário, e as margens das aplicações a jusante ficam pressionadas

Como alocar o orçamento de dados

• O tempo operacional acumulado deve ser removido dos indicadores básicos de desempenho do modelo, e eficiência de engenharia e scaling devem ser avaliados por custo marginal de integração por tarefa, limiar de saturação, escopo de clusters em embeddings e taxa de mudança de distribuição
• Nem os dados de intervenção em staging nem os dados estreitos de implantação conseguem, sozinhos, escalar um foundation model
  • Staging de alto volume satura rapidamente o escopo por tarefa e entra em rendimentos decrescentes
  • A implantação comercial carece de novidade nos nichos rentáveis e ainda gera custo de NRE para tratamento de erro em cada ambiente
• Ao escopo observacional, deve-se priorizar dados de baixo custo e alta diversidade para reduzir o limite inferior de erro contingente e ampliar as fronteiras da capacidade básica
• O staging de intervenção deve ir apenas até o ponto de saturação (n_c) da tarefa, e o orçamento restante deve ser redistribuído para diversidade de tarefas, não para repetição da mesma tarefa
• Na telemetria de implantação, é preciso separar edge cases OOD e modos de falha, descartando grandes volumes de sucessos rotineiros sem densidade informacional
• Mesmo que a implantação inicial possa produzir alguns sinais úteis, a operação contínua antes do ponto de equilíbrio consome capital
• A eficiência de capital em Physical AI escala não maximizando o volume de dados, mas pela capacidade de precificar com precisão a novidade dos dados