Mistral revela o Robostral Navigate, modelo de navegação robótica com câmera única

• É o primeiro modelo de navegação incorporada 8B da Mistral, criado para fazer robôs se locomoverem em ambientes complexos usando apenas uma câmera RGB e instruções em linguagem natural
• Alcançou 76,6% de taxa de sucesso no R2R-CE validation unseen, superando não só abordagens com câmera única, mas também os melhores sistemas baseados em depth e múltiplas câmeras
• Usa uma abordagem de pointing para prever as coordenadas da imagem do alvo na tela atual e a orientação na chegada; quando o alvo está fora do campo de visão, substitui isso por comandos de deslocamento no sistema de coordenadas local do robô
• Foi construído internamente, sem depender de VLMs open source existentes, e treinado com cerca de 400 mil trajetórias e 6.000 cenas geradas por simulação
• Com prefix-caching, reduziu os tokens de treino em 22 vezes e depois aumentou a taxa de sucesso em mais 3,2% com aprendizado por reforço online CISPO

---

Navegação robótica baseada em câmera única

• Robostral Navigate é o primeiro modelo de navegação incorporada da Mistral, criado para permitir que um robô se mova pelo ambiente a partir de imagens RGB e instruções em linguagem natural
• Um exemplo de instrução seria: “saia do lobby, passe pelo corredor, entre no depósito, olhe para a segunda prateleira e pare”
• Diferente de abordagens que usam sensores de depth, LiDAR e várias câmeras em conjunto, este modelo usa apenas uma câmera RGB comum
• O R2R-CE (Room-to-Room in Continuous Environments) validation unseen é um benchmark em que o robô deve se deslocar seguindo instruções em ambientes que não fizeram parte do treinamento
  • O Robostral Navigate registrou 76,6% de taxa de sucesso no validation unseen
  • 9,7 pontos acima da melhor abordagem com câmera única
  • 4,5 pontos acima do melhor sistema com depth ou múltiplas câmeras

Desempenho em benchmark e compatibilidade com robôs

• O modelo foi projetado para permitir navegação autônoma de robôs em espaços complexos, como escritórios, edifícios residenciais e comerciais, e ambientes externos
• Com apenas uma instrução, ele consegue executar a tarefa completa sozinho em espaços reais com pessoas e obstáculos
• Os principais indicadores de desempenho e condições de operação são os seguintes
  • Registrou desempenho de ponta no R2R-CE
  • A taxa de sucesso no validation seen é de 79,4%
  • A taxa de sucesso no validation unseen é de 76,6%
  • Opera com uma única câmera RGB, sem LiDAR nem sensores de depth
  • É um modelo 8B desenvolvido internamente, com treinamento totalmente baseado em simulação
  • Funciona em robôs com rodas, andadores e voadores, e generaliza para diferenças de tamanho entre robôs
  • É robusto a diferenças nos parâmetros intrínsecos da câmera
  • Usa treinamento eficiente em tokens por meio de prefix-caching

Método de deslocamento baseado em pointing

• O Robostral Navigate prevê, com base na tarefa e no histórico de observações, a próxima posição para onde o robô deve se mover usando uma abordagem de pointing
• A predição inclui as coordenadas da imagem correspondentes à posição-alvo dentro da visão atual da câmera e a orientação necessária ao chegar
• Diferente de comandos que dependem de metric displacement, o pointing é naturalmente robusto a mudanças nos parâmetros intrínsecos da câmera e na escala do mundo real
• Quando a posição-alvo está fora do campo de visão atual, fica difícil resolver isso só com pointing
  • Nesse caso, a saída é substituída por comandos de deslocamento no sistema de coordenadas local do robô
  • Um exemplo seria: “avance 2 metros, mova-se 1,5 metro para a esquerda e gire 25 graus para a esquerda”

Modelo desenvolvido internamente e dados de simulação

• O Robostral Navigate foi inteiramente desenvolvido internamente, sem depender de VLMs open source existentes
• Na inicialização, usa o modelo de visão-linguagem da Mistral especializado em tarefas de grounding, como pointing, counting e object localization
• A navegação aprende como se mover depois de entender a posição dos objetos, sendo uma extensão dessa capacidade de grounding
• Todo o pipeline de geração de dados foi construído dentro da simulação
  • Isso permitiu iterar e melhorar os dados rapidamente
  • O conjunto de dados final é composto por cerca de 400 mil trajetórias e 6.000 cenas

Treinamento eficiente e aprendizado por reforço online

• O elemento central do aprendizado supervisionado é um algoritmo de treinamento eficiente baseado em prefix-caching
• Uma estratégia de attention masking baseada em árvore comprime o episódio inteiro em uma única sequência
  • Todos os time steps podem ser treinados em um único forward pass
  • Sem vazamento de informação entre os time steps
• Em comparação com um treinamento que usa uma amostra por time step, isso reduz o número de tokens de treino em 22 vezes, preservando o sinal de aprendizado
• Na prática, transforma uma execução de treinamento que levaria meses em uma que termina em poucos dias
• Depois do aprendizado supervisionado, o desempenho é aprimorado com o algoritmo de aprendizado por reforço online CISPO
  • Ele permite que o modelo aprenda por tentativa e erro, se recupere de falhas e adquira comportamento de exploração
  • Atenua o problema de distribution shift comum no behavior cloning
  • Só essa etapa aumentou a taxa de sucesso em 3,2%
  • Ainda não há sinal de plateau, então mais treinamento e experimentos podem elevar ainda mais os números

Próximo passo rumo a um agente incorporado unificado

• O Robostral Navigate representa o primeiro passo rumo a um agente incorporado unificado
• A Mistral vê a navegação como uma capacidade fundamental para a robótica de uso geral
• Mostra que, ao combinar simulação em larga escala, treinamento eficiente e um forte prior de grounding, é possível alcançar navegação incorporada de ponta com um modelo compacto e uma única câmera RGB
• A Mistral está expandindo sua equipe de robótica e contratando pesquisadores e engenheiros

[GN⁺]

Opiniões no Hacker News

• Dizem “desempenho de ponta no R2R-CE”, mas é preciso deixar claro que R2R-CE é um benchmark composto por ambientes de simulação
  Vencer esse benchmark tem um significado parecido com fazer um robô se sair bem em Minecraft ou em outros videogames. É legal, mas robôs precisam operar na realidade física, não em ambientes digitais
  Avaliar o desempenho de sistemas robóticos no mundo real é muito difícil. Se o desempenho for ruim, você acaba precisando de muitos robôs de reserva só para concluir a avaliação
  O artigo também inclui aquele vídeo de demonstração obrigatório de um robô físico se movendo em 2x por um ambiente com piso liso e um escritório quase vazio. Já virou uma cena emblemática da área, e ganha pontos extras a cena no fim em que três pessoas cruzam cuidadosamente o caminho do robô
  Mas isso é parecido com o hype em torno do Aloha alguns anos atrás. É bom para fazer uma grande empresa de tecnologia adquirir a equipe ou para conseguir dinheiro para pesquisar mais uma tecnologia interessante, mas ainda é pouco para esperar que seja um avanço substancial rumo a uma empregada/um mordomo robô andando por casas ou escritórios

• Pelo que fica implícito, e espero que seja verdade, isso parece ser navegação sem mapa. Se for, é impressionante
  Com um mapa previamente capturado do ambiente, esse tipo de tarefa fica muito mais fácil. Mas, se for sem mapa, é incrível
  Antigamente sempre havia o problema do “robô sequestrado”, em que o robô não conseguia se mover nem um pouco se não soubesse sua própria posição. Aqui, parece que o robô executa a instrução desde que ela possa ser interpretada a partir da visão atual ou seguida por navegação estimada

  • Trabalho na equipe de robótica da Mistral, e sim, este é um método sem mapa. As únicas entradas são o prompt de texto e a imagem da câmera RGB frontal
  • Um SLAM ou VSLAM moderno não resolveria esse problema?
  • Se não há nenhum sensor sendo usado, nem geometria real, e o sistema só tem algo como tokens recentes de forward pass, você pode explicar por que ficaria muito mais fácil quando existe um mapa previamente capturado?
  • Criar algum tipo de nó de exploração parece muito interessante. Seria como resolver um problema de SLAM semântico enquanto se desloca
    Se a instrução for “encontre o elevador neste andar”, ele poderia andar por aí, criar um mapa e se comportar como uma pessoa procurando o elevador?
    Hoje, esses modelos de navegação pressupõem que quem escreve a instrução conhece muito bem marcos visuais úteis para locomoção, o que não é realista na maioria dos casos de uso

• Fico curioso sobre qual seria um caminho realista para realmente mexer com isso. Eu gostaria de conectá-lo ao OpenClaw para experimentos de hobby
  O sonho é colocar o OpenClaw em um robô agrícola. Eu queria modificar um cortador de grama RC de esteiras para encostas íngremes e atribuir tarefas como: “explore a linha da cerca tirando fotos das plantas, encontre todo o sumagre-venenoso e as madressilvas invasoras, pulverize com Roundup, repita toda semana, depois informe um mapa de distribuição das espécies e, quando a bateria estiver fraca, volte ao celeiro para recarregar”
  Colocar o OpenClaw em um corpo robótico não é difícil. Há muitos vídeos disso no YouTube. Mas, quando você vai a fundo no que as pessoas realmente construíram, a parte de locomoção é sempre a mais grosseira, e foi o mesmo nos meus experimentos
  Um modelo 8B assim parece perfeito para resolver problemas de definição de rotas e navegação
  Se houver alguém mais familiarizado com a Mistral ou empresas parecidas, fico curioso se eles têm interesse nesse tipo de experimento de makers/hobistas. Ou será que buscam principalmente parceiros comerciais? Eu estaria disposto a pagar uma licença para experimentar, mas talvez não queiram colaborar com uma pessoa sozinha enquanto não houver intenção de comercializar

  • Seria legal criar um robô como o OpenClaw com isso, mas o modelo atual parece focado em andar/compreender o ambiente por texto. O que seria possível usar para fazer o robô interagir com o mundo?
  • Para quem estiver curioso como eu, compartilho o que descobri até agora. Entrei no Discord da Mistral e perguntei ao bot Miscord; ele respondeu que, no momento, os anúncios oficiais e a documentação estão focados principalmente em parcerias empresariais e industriais, como Airbus e BMW
    Ainda assim, o Robostral Navigate foi projetado para ser independente de hardware e pode ser acoplado a qualquer plataforma robótica; como precisa apenas de uma única câmera RGB, sem LiDAR nem sensor de profundidade, em teoria ele também se encaixa bem em equipamentos de hobby
    Ainda não há uma licença pública para hobby/não comercial nem lançamento open source, e também não foram anunciados preços pessoais ou níveis de licenciamento. O que dá para fazer agora é entrar em contato diretamente com a Mistral AI e perguntar claramente: “sou um maker/hobista fazendo um experimento pessoal com OpenClaw + Robostral Navigate e gostaria de discutir uma licença não comercial”
    Também é uma boa ficar de olho no Discord ou nos fóruns da Mistral; se não houver resposta, dá para esperar que projetos open source de robótica, como ROS ou Habitat, passem a implementar funcionalidades parecidas

• Não parece ser um modelo público, mas, se for disponibilizado, facilitar o uso de navegação com uma única câmera deve viabilizar muitos projetos legais de robôs de hobby

• Muito legal. Parabéns à equipe da Mistral. Navegação sem mapa ao ar livre existe há bastante tempo, mas navegação sem mapa dentro de edifícios é algo relativamente novo
  Pesquisadores de Stanford treinaram certa vez o PIGEON, um modelo visual que acerta a geolocalização a partir de imagens arbitrárias. Ele não foi divulgado porque o potencial de abuso contra a privacidade, como stalking, era grande demais, e parece que há uma tecnologia de tipo semelhante por trás desse robô. Se alguém souber mais, seria bom corrigir
  Link do artigo do PIGEON: https://lukashaas.github.io/PIGEON-CVPR24/

• A Mistral parece estar indo de forma ampla e, ao mesmo tempo, atacando nichos. Pode ser uma estratégia inteligente daqui para frente

  • Como eles estão investindo bastante em automação sob medida para parceiros industriais, isso será uma adição bem-vinda à caixa de ferramentas deles
  • Pode ser uma estratégia perfeitamente boa. Em poder computacional puro, é difícil acompanhar Anthropic ou OpenAI, mas há muitas aplicações que não precisam de tanta força, e muitas vezes é melhor otimizar para velocidade e eficiência energética
  • Porque eles funcionam com os meus impostos, e não por motivação de lucro

• É impressionante por ser extremamente minimalista
  Por outro lado, me lembra os vídeos de demonstração de robôs que pesquisadores acadêmicos e a Willow Garage publicavam por volta de 2010
  O problema da robótica é que é fácil criar uma demonstração que pareça convincente, mas é realmente difícil fazê-la funcionar corretamente em casos gerais. Carros autônomos são um bom exemplo

  • No fim, robótica é toda sobre edge cases. Há muitas aplicações em que já é possível ter robôs que executam 95% da tarefa perfeitamente, mas isso ainda não basta. Os últimos 5% são tão amplos que é quase impossível cobri-los

• Estou pronto para esperar por um robô assistente doméstico que faça o jantar, lave a louça e leve o lixo para fora
  Só que dá medo pensar em quando esses assistentes forem mobilizados em guerras, seja a meu favor ou contra mim

  • Sinceramente, muitas funcionalidades seriam boas, mas os robôs mainstream são pesados, e me preocupa que caiam em cima de crianças. Crianças são imprevisíveis do ponto de vista de uma máquina, mas, para a maioria dos pais, são previsíveis até certo ponto
    Nossa taxa de amostragem sensorial e a velocidade de inferência da nossa inteligência estão várias ordens de grandeza à frente dos melhores robôs atuais. Por enquanto, humanos são muito mais refinados e capazes
    Espero que dispositivos leves o suficiente sejam possíveis, mas, considerando os requisitos de peso das baterias, não sei bem como isso seria viável
  • Acho que o segundo cenário virá muito antes do primeiro
  • Talvez devêssemos até ficar aliviados se mandarmos robôs em vez de pessoas para serem explodidas por drones
  • O primeiro parece que ainda vai demorar bastante. A menos que você não se importe que um estranho circule pela sua casa por controle remoto toda vez que o robô ficar confuso
  • Um robô humanoide inteligente em cada casa; o que poderia dar errado? Provavelmente é uma das piores ideias possíveis

• Dizem que alcançou 76,6% no “R2R-CE (Room-to-Room in Continuous Environments)”, mas fico curioso para saber o que ele fez nos 23,4% restantes

  • Acho que os maiores problemas seriam coisas como dizer “vá para o próximo cômodo” quando há duas portas, ou “vire no bebedouro” quando o que existe é uma pia. Claro, como sempre, o último 1% é tão difícil quanto outros 99%
    Ao observar os erros de navegação na página com o gráfico de resultados, aparece a métrica mais relevante para essa pergunta. Como o modelo é bom em “não seguir na direção errada”, é provável que a taxa de falha corresponda a casos em que ele não conseguiu descobrir o caminho
  • Provavelmente não chegou a outro cômodo

• Isso é muito legal. O fato de o robô conseguir usar a direção apontada com o dedo para decidir para onde ir é uma ótima decisão de design, e a robótica é realmente a próxima fronteira. Definitivamente passei a torcer pela Mistral