Gemini Robotics 2 leva inteligência de corpo inteiro aos robôs

• O Google DeepMind apresentou a família de modelos Gemini Robotics 2, que converte entradas visuais e de linguagem em ações para controlar humanoides dos pés às mãos, além de oferecer suporte a manipulação refinada e colaboração entre robôs
• A família é composta pelo Gemini Robotics 2, um VLA para controle de corpo inteiro; pelo Gemini Robotics ER 2, que planeja e supervisiona tarefas longas; e pelo Gemini Robotics On-Device 2, executado localmente no robô
• Os humanoides conseguem combinar caminhar, se abaixar e transportar objetos, enquanto uma mão de 5 dedos com 22 graus de liberdade pode dar nós ou selar sacos com zíper, e vários robôs podem colaborar em tarefas difíceis de serem realizadas por um único robô
• O On-Device 2 roda sem conexão de rede e, em geral, pode ser aplicado a um novo robô bimanual com morfologia, sensores e graus de liberdade muito diferentes com menos de 200 exemplos e apenas algumas horas de adaptação
• O ER 2 está disponível em prévia privada no Google AI Studio e na Gemini Enterprise Agent Platform, e os modelos VLA e On-Device estão abertos a parceiros de acesso antecipado, mas velocidade de locomoção e precisão ainda precisam melhorar

---

Três modelos de robótica com papéis diferentes

• Os robôs existentes dependiam principalmente de programação prévia ou teleoperação para sequências de tarefas estreitas e repetitivas, o que dificulta a adaptação autônoma a ambientes imprevisíveis ou a transferência de habilidades de um robô para outra forma
• Gemini Robotics 2 é um modelo de visão-linguagem-ação (VLA) que converte entradas visuais e de linguagem em controle motor
  • Controla humanoides completos e robôs bimanipuladores
  • Oferece suporte a manipulação refinada com as duas mãos e grippers
• Gemini Robotics ER 2 é um modelo de raciocínio incorporado (ER) que atua como agente do robô
  • Se comunica com pessoas e entende o ambiente físico
  • Planeja tarefas de múltiplas etapas que duram vários minutos
  • Dá suporte a trabalho em equipe com vários robôs
• Gemini Robotics On-Device 2 é um VLA eficiente otimizado para execução local no dispositivo robótico
  • Pode se adaptar a uma forma de robô completamente nova com algumas horas de dados
• O escopo de disponibilidade varia por modelo
  • O ER 2 pode ser usado no Google AI Studio e está disponível em prévia privada na Gemini Enterprise Agent Platform
  • Os modelos VLA e On-Device são oferecidos a parceiros de acesso antecipado
  • A forma de aplicação no hardware pode ser consultada no Developer blog

Controle de corpo inteiro em humanoides além da parte superior

• Enquanto o modelo anterior se concentrava no controle da parte superior do corpo de humanoides para tarefas sobre a mesa, o Gemini Robotics 2 amplia o alcance para movimentos de corpo inteiro
• O Apptronik Apollo 2 consegue executar a instrução “coloque o regador na caixa verde da prateleira de baixo”
  • Caminha até a mesa e pega o regador
  • Depois vai até a prateleira e o coloca com precisão no local indicado
• Ele conecta caminhar, se abaixar, manter o equilíbrio e manipular objetos para trabalhar em espaços apertados e desorganizados, mas a velocidade de locomoção ainda precisa melhorar

Manipulação refinada com mãos e grippers

• Controla os cinco dedos e os 22 graus de liberdade da mão SharpaWave instalada no Apollo 2
  • Executa movimentos delicados como dar nós
  • Consegue selar sacos com zíper
• Também realiza tarefas complexas, como embalar itens de forma densa, com o gripper paralelo padrão de 2 dedos do Franka Duo
• Para atingir um nível de destreza comparável ao humano, ainda será preciso elevar continuamente a precisão e a velocidade

Raciocínio para tarefas longas e colaboração entre múltiplos robôs

• O Gemini Robotics ER 2 atua como o cérebro de alto nível do robô, processando instruções do usuário e se comunicando com pessoas
  • Observa o espaço e infere as etapas necessárias
  • Se coordena com o VLA para executar as ações reais
  • Acompanha o progresso até a conclusão
• Ao executar tarefas complexas de várias etapas, se alguma etapa falhar ele se autocorrige e também consegue generalizar para novas situações e objetivos
• Toma centenas de decisões em uma única tarefa e lida com sequências de trabalho que duram vários minutos com mais estabilidade do que antes
• Entende o início e o fim de uma tarefa e identifica quando eventos importantes ocorreram para acompanhar o estado de progresso
• Com robôs de diferentes tipos se comunicando e cooperando, é possível lidar com fluxos de trabalho complexos que são difíceis de executar com apenas um robô

Adaptação rápida a novas formas de robô

• O Gemini Robotics On-Device 2 é executado localmente no dispositivo robótico para ambientes em que é preciso operar sem latência de rede ou conexão com a internet
• Ele oferece suporte nativo a várias formas de robô e herda a tecnologia de transferência de comportamento do Gemini Robotics 1.5
• Em geral, pode ser aplicado a um novo robô bimanual com menos de 200 exemplos e algumas horas de adaptação
• Adapta-se também a robôs com aparência, sensores e graus de liberdade muito diferentes, realizando várias tarefas nas plataformas Dexmate, SO101 e Trossen

Segurança em robôs que lida até com incerteza

• À medida que as capacidades físicas dos robôs aumentam, aplica-se uma abordagem de segurança em múltiplas camadas que combina medidas tradicionais de segurança física com frameworks de segurança de IA
• ASIMOV-Agentic é um novo benchmark para avaliar orquestração de segurança de agentes e tratamento de incerteza
  • Mede se o agente de raciocínio incorporado consegue rejeitar chamadas de ferramentas inseguras solicitadas pelo VLA
  • Avalia se ele prevê a viabilidade de executar uma tarefa e, quando há incerteza, solicita proativamente intervenção humana
• O Gemini Robotics ER 2 mostrou o desempenho mais seguro entre os modelos de robótica anteriores do Google DeepMind em benchmarks de conformidade com restrições de segurança e proximidade humana
  • Detecta melhor as pessoas ao redor
  • Quando alguém chega perto demais, aciona ferramentas de segurança e para o robô de forma segura
  • Essa é uma capacidade exigida por padrões de segurança colaborativa para trabalho ao lado de pessoas
• A avaliação detalhada pode ser consultada em Gemini Robotics 2: Safety Technical Report
• O objetivo é construir a inteligência central de uma IA física de propósito geral capaz de ir além da automação de tarefas únicas para resolver problemas complexos junto com pessoas

[GN⁺]

Comentários do Hacker News

• Como pesquisador da DeepMind que participou do desenvolvimento deste modelo, a DeepMind é um ótimo lugar para trabalhar. É um dos poucos laboratórios realmente únicos onde se pode transitar por quase todas as áreas relacionadas à inteligência, como Gemini·Gemma, robótica e ciências como meteorologia e biologia, além de contar com excelentes colegas, então vale considerar entrar

  • Tenho curiosidade sobre o que diferencia, em termos concretos, o desenvolvimento de modelos de fronteira e de modelos abertos. Modelos abertos costumam ser menores e passar por mais verificações de segurança, mas no essencial parecem semelhantes, e imagino que a maior parte da pesquisa geral em IA se aplique a ambos
  • Tenho curiosidade séria sobre como estão evitando o mau uso por governos, empresas e militares. Também queria saber o quanto essa tecnologia está sendo usada para melhorar a vida das pessoas comuns e o quanto está sendo usada para reforçar vigilância e controle
  • A expressão “laboratório único” é exagerada. O Allen Institute for AI (AI2) também cobre a maioria das áreas, ainda que menos no nível de fronteira, e há expectativa em torno do apoio de US$ 152 milhões da NSF e da parceria com a Nvidia. Na área de robótica, há MolmoBot, MolmoSpaces e MolmoAct: https://allenai.org/embodied-ai
  • Como diretor-executivo da AGI Society, que organiza a AGI Conference desde 2007, gostaria de convidá-lo a apresentar essa pesquisa no evento do próximo ano. A apresentação de Alexander Lerchner neste ano foi excelente, e se você informar seu e-mail preferido eu entrarei em contato

• Anthropic e OpenAI ficam com 80% da atenção, mas é impressionante o alcance do Google, indo de modelos de fronteira, rápidos e com pesos abertos até geração de imagens, vídeos, música e robótica

  • Enquanto o Google age silenciosamente como uma empresa competente na linha de frente de várias novas tecnologias, os chatbots mais recentes da OpenAI e da Anthropic recebem cobertura exagerada do tipo “IA fora de controle” e “perigosa demais, deve ser proibida”. Esse ciclo de hype está sustentando avaliações corporativas absurdas de concorrentes novatas
  • O Google DeepMind desenvolve novos conceitos na fronteira da IA, enquanto outros lugares estão correndo atrás de alguns pontos percentuais em benchmark
  • Também não dá para deixar de fora a pesquisa sobre dobramento de proteínas e o Nobel

• Os movimentos do robô são lentos e pouco suaves, mas o ChatGPT inicial também parecia muito limitado. Se evoluir tão rápido quanto os LLMs, a gama de usos pode crescer enormemente em poucos anos

  • Em tarefas domésticas, não importa se levar mais tempo do que uma pessoa. Basta terminar a limpeza antes de eu voltar do trabalho
  • Tanto de GPT-2 para GPT-3 quanto de Gemini Robotics 1 para 2 levaram 15 meses, mas o primeiro foi um salto enorme, enquanto o segundo quase não mudou: https://blog.google/products-and-platforms/products/gemini/h...
    Movimentos robóticos lentos e estáticos e movimentos rápidos e flexíveis têm níveis de dificuldade completamente diferentes. Ao se mover rápido, é preciso calcular centenas ou milhares de vezes por segundo a inércia rotacional de várias juntas e massas, além das mudanças de equilíbrio. Dobrar uma camiseta parada com 90% de chance de sucesso é fácil, mas 99% de taxa de sucesso ou dobra rápida é algo incrivelmente complexo
  • É o primeiro vídeo promocional que parece plausível mesmo em velocidade de tempo real. Ainda assim, não está claro se a taxa de sucesso de 50~75% em outros materiais se refere à primeira tentativa ou ao sucesso final
  • É bem ousado o Google enfrentar de frente o paradoxo de Moravec: https://en.wikipedia.org/wiki/Moravec%27s_paradox
  • Os movimentos são suaves, mas lentos, provavelmente por segurança. Robôs com motores potentes podem realmente machucar pessoas, por isso até robôs industriais operam dentro de cercas de segurança
    Não se deve esperar que imitem exatamente movimentos de cinemática inversa como se fossem bonecos digitais. Se o objetivo da otimização for reduzir o consumo de energia, o movimento de um braço elétrico multiarticulado pode parecer um pouco estranho

• Já perdi as expectativas com robôs humanoides por causa dos limites dos atuadores. Quase não houve inovação desde o Honda ASIMO, e não acho que muita gente queira ter em casa ou no trabalho um bloco metálico instável de 80 kg
  A revolução robótica final talvez use corpos de humanos ou animais geneticamente modificados, com o cérebro substituído. Se um urso for feito sem consciência e controlado por Neuralink e um LLM, talvez seja mais adequado para trabalho na construção; animais rápidos poderiam ser usados em entregas, e girafas em armazéns

  • Girafas são apenas altas e mal conseguem carregar peso, então é questionável sua utilidade em armazéns. Também é difícil acreditar na afirmação de que não houve inovação em atuadores; os atuadores do MIT Cheetah são totalmente diferentes do ASIMO em retroacionabilidade e rigidez variável, e também há muita pesquisa combinando elementos elásticos
  • A Cortical Labs pesquisa essa área e chegou a mostrar uma demonstração de Doom. Formas biológicas têm versatilidade geral, mas para muitas tarefas as metálicas são mais robustas, e cérebros têm baixa largura de banda e alta latência, então chips de silício são mais vantajosos para inferência
    Ao ver trabalhos interessantes na área de impressão 3D, eu achava que os atuadores também estavam avançando bastante, então gostaria de saber mais sobre essa afirmação de que ficaram para trás
  • Não concordo nem um pouco que os atuadores não evoluíram. Desde a pesquisa de Ben Katz no MIT Mini Cheetah, densidade de torque e preço melhoraram muito, e os atuadores do Unitree G1 baseados nisso são pequenos, mas potentes, quase no nível de acionamento quasi-direct drive. Os motores do BD E-Atlas também parecem ter boa densidade de torque mesmo sendo totalmente resfriados de forma passiva, e nunca avançaram tão rápido quanto agora
  • Esse futuro seria horrível, mas por causa da dificuldade técnica e das barreiras de aprovação para experimentos, parece estar muito distante. Ainda assim, concordo que a forma humanoide é um beco sem saída
    Basta criar uma caixa enorme que receba insumos e produza resultados, como uma lava-louças. Em vez de imitar mãos humanas, seria muito mais eficiente criar um dispositivo para dobrar roupas compatível com lavadora e secadora, ou uma cozinha robótica integrada
  • Modificar seres vivos parece várias ordens de grandeza mais difícil do que fabricar robôs humanoides. Ainda não conseguimos fazer hambúrgueres a um preço comercialmente viável sem vacas

• Precisamos de alguém que avalie honestamente o nível real dessa tecnologia. Tenho curiosidade sobre os equipamentos de medição necessários, a qualidade da interação e o desempenho em tarefas cotidianas não estruturadas como girar maçanetas, recuperar-se de quedas e evitar colisões

  • Trabalho nessa área e escrevi minha monografia de graduação sobre modelos visão-linguagem-ação (VLA) que não são humanoides, isto é, conectar o ChatGPT a um braço robótico. Ainda não está em estágio prático, e peças de montagem às vezes nem têm nomes exatos, então o robô pode não conseguir lidar com instruções ambíguas que um humano entenderia
    Também faltam dados confiáveis de precisão, e benchmarks como o LIBERO estão praticamente saturados, com quase todos marcando 95%, enquanto cada empresa e pesquisador usa sua própria avaliação. Também há muitas empresas que forjam demos ou operam de forma perigosa perto de pessoas
    Mais do que maçanetas e recuperação de quedas, o difícil na manufatura é alinhar com precisão tijolos ou componentes. Em vez de humanoides, que têm muitas articulações para gerenciar e são complexos, um braço robótico com rodas como o Mobile ALOHA parece mais adequado para arrumar quartos de hotel ou cozinhar em restaurantes com tarefas padronizadas
  • Ainda está no nível de GPT-1, mas parece que o momento equivalente ao GPT-2 está próximo
  • O verdadeiro critério de validação é se startups que vendem robôs de serviço doméstico realmente conseguem usuários recorrentes. Já construí profissionalmente vários protótipos de robôs, e o progresso é claro, mas ainda está muito longe de algo que o consumidor comum possa usar de forma estável para tarefas banais
    Como argumenta https://rodneybrooks.com/why-todays-humanoids-wont-learn-dex..., destreza manual também é um problema de hardware, e uma garra não é uma mão. Até manipulação com vários dedos continua difícil, e os sensores ainda não são suficientes
  • Na indústria de robótica há muita enganação, desde vídeos cuidadosamente montados para uma demonstração específica até fraudes em que dizem ser operação autônoma, mas na verdade é controle remoto. Até cães-robô e veículos terrestres não tripulados têm pouca utilidade prática, apesar do hype
    Robótica, fora da área de cobots, é uma indústria de nicho; a exceção são os drones, que têm grande potencial se resolverem apenas o problema do tempo de voo. Humanoides ainda estão longe de serem úteis em ambientes reais, e a maioria dos veículos terrestres não tripulados nem consegue subir escadas de ré

• Robótica com IA é a verdadeira revolução. Hoje, quem detém capital ainda precisa de trabalho humano para obter mais capital, mas quando o custo de inferência dos robôs ficar abaixo do custo da mão de obra, o trabalho humano deixará de ser necessário. A IA afeta também o trabalho não físico, mas uma parte significativa da população mundial trabalha com esforço físico

  • Se ignorarmos os custos além da inferência e aceitarmos esse estado final, isso será muito bom se o capital for democratizado, mas se continuar concentrado em uma pequena camada, o resultado será quase apocalíptico
  • Não é só uma questão de custo de inferência. No mundo real, o dano de lidar mal com objetos ou seres vivos é totalmente diferente de aplicações imateriais, então talvez sejam necessários mecanismos de fail-safe e limitadores independentes
  • Fico em dúvida se essa mudança seria realmente boa

• Como homem de 47 anos sem filhos, espero poder contar com a ajuda de robôs cuidadores na velhice

  • É impressionante que tenha aumentado a chance de vermos droides como em Star Wars ainda em vida, mas parece que todo mundo trata isso como algo banal
  • Já seria muito útil agora, como alguém na faixa dos 50 com pais na faixa dos 80. Muitos amigos ao meu redor estão em situação parecida

• Muitas tarefas domésticas podem ser automatizadas sem humanoides. O Roomba limpa o chão, e casas podem receber sistemas automáticos de descarte de lixo e de entrada, classificação e armazenamento de mantimentos
  Humanoides são desagradáveis e difíceis de confiar. Mesmo em uma situação em que eu discordasse da visão política do fabricante, duvido que eu conseguiria dormir tranquilo com um robô desses dentro de casa

  • Em apartamentos, sobrados e casas geminadas existentes, é praticamente impossível instalar esse tipo de estrutura, e mesmo em casas novas e isoladas é uma solução cara. Como o ambiente humano existente é adaptado a humanoides, a forma humanoide é útil
  • O Roomba limpa só 80~90% do chão e nem deixa tão limpo quanto um aspirador de verdade. Se considerar guardar os brinquedos do cachorro e esvaziar o reservatório de pó, na prática é algo como 60%, então para fazer 100% é preciso um humanoide completo
  • Nem deveria existir uma situação em que você precise confiar no robô. Mesmo que um Roomba ou uma lava-louças falhe, eles não podem decepar seus dedos nem bisbilhotar ou vigiar você; esse tipo de coisa é que é um bom robô

• Em um planeta finito, além do número crescente de humanos, não entendo por que querer adicionar ainda mais corpos robóticos. IA em datacenter pelo menos não compete fisicamente ombro a ombro comigo, mas não entendo por que querer robôs sofisticados quando já existem humanos

  • Há muitos sinais de que a expansão infinita dos humanos vai parar. A razão óbvia para precisar de robôs sofisticados é colocá-los para fazer trabalhos que humanos não querem fazer porque são pesados a ponto de acabar com as costas, sujos, perigosos ou entediantes

• Se usar um LLM completo para acionar robôs, ele fica pesado demais, então mesmo com uma GPU potente a latência mínima provavelmente será de 1~2 segundos, o que não serve para robôs práticos
  A visão computacional pode ficar com o machine learning, mas o acionamento dos movimentos deveria ficar com controle linear e não linear tradicional baseado em PID; se usar um LLM completo como controlador, parece que vai esbarrar nos limites do hardware

  • No momento, o problema de latência é real, mas há muito espaço para otimização de inferência, então isso provavelmente pode mudar no futuro próximo. Enquanto controles baseados em análise e otimização como PID ficaram estagnados por décadas, o controle ponta a ponta mostrou desempenho excelente em eficiência energética da locomoção e robustez para não cair mesmo pisando em montes de folhas, além de ser muito mais fácil de aplicar a novos robôs
    Empresas como a Physical Intelligence também estão obtendo bons resultados com arquiteturas hierárquicas que combinam camadas rápidas e lentas para resolver ao mesmo tempo inteligência e latência
  • A Nvidia executa um VLA de 2 bilhões de parâmetros a 10Hz em seus próprios chips, e pelo que sei o modelo público de 500 milhões de parâmetros também roda a 10Hz