RoboCat - agente robótico com autoaperfeiçoamento

• O Google DeepMind apresentou o RoboCat, que aprende por conta própria ao realizar várias tarefas com um braço robótico.
• Ele é baseado no Gato ("gato", em espanhol), um modelo multimodal que pode operar tanto em ambientes reais quanto em ambientes de simulação.
  • Para se autoaperfeiçoar, primeiro coleta dados reais sobre novas tarefas.
  • Com base nos dados reais, ajusta finamente o modelo base para criar um agente derivado.
  • O novo agente pratica cerca de 10 mil vezes para produzir um conjunto de dados de treinamento.
  • Os dados reais e os dados gerados por ele próprio são integrados ao conjunto de treinamento do RoboCat.
  • Uma nova versão do RoboCat é treinada.
• Com isso, ele consegue se adaptar em poucas horas a novos braços robóticos com mais articulações ou mais pinças.
• Além disso, cria-se um ciclo virtuoso de treinamento: o modelo inicial, que mostrava taxa de sucesso de 36% em uma tarefa específica, mais que dobrou esse resultado e chegou a 74%.

[nicewook]

Finalmente está se abrindo um espaço para a inteligência artificial encontrar e vivenciar o mundo real.

[kuroneko]

• Artigo
• Thread no HN

Os comentários da thread no HN estão engraçadíssimos.
Eu também pensei exatamente a mesma coisa: só eu estava esperando um gato robô? Fiquei meio decepcionado...

Seria legal se pelo menos colocassem um adesivo de gato no braço robótico.

[kuroneko]

Ao resumir o artigo, o resultado é o seguinte.

RoboCat é um agente com base em autoaperfeiçoamento para manipulação robótica. Ele é treinado com um dataset amplo e diversificado de tarefas robóticas usando múltiplas simulações e braços robóticos reais.

Os principais objetivos do RoboCat são os seguintes.

1. Generalizar para novas tarefas e novos robôs com o mínimo de dados. O RoboCat consegue se adaptar a novas tarefas e robôs usando apenas de 100 a 1000 exemplos de demonstração.
2. Autoaperfeiçoar-se por meio de um processo iterativo. O modelo RoboCat ajustado é usado para gerar mais dados de treinamento, e esses dados são adicionados ao conjunto de treinamento para melhorar o agente geral.
3. Lidar com múltiplas implementações com tarefas e espaços de observação diferentes. O RoboCat é testado em braços com até 14 graus de liberdade e diferentes garras.
4. Resolver diversas tarefas de manipulação hábil com objetos de diferentes formas, tamanhos e texturas. As tarefas incluem empilhar, inserir, levantar e outras.

Os principais resultados são os seguintes.

• À medida que os dados de treinamento do RoboCat aumentam e se tornam mais diversos, a transferência entre tarefas melhora, e a adaptação a novas tarefas se torna mais eficiente.
• O RoboCat consegue se adaptar com sucesso a novas tarefas e novos robôs usando apenas uma pequena quantidade de dados de demonstração e, em comparação com os baselines, exige menos esforço de aprendizado.
• Ao expandir os dados de treinamento por meio do autoaperfeiçoamento, o RoboCat apresenta melhor desempenho nas tarefas de treinamento originais e é refinado com mais eficácia.

Em resumo, o RoboCat, um agente com base em autoaperfeiçoamento para manipulação robótica treinado com um dataset amplo e diversificado, mostra que pode generalizar para novas tarefas e novos robôs com o mínimo de dados por meio de ajuste fino e autoaperfeiçoamento. Sua capacidade de aproveitar, em larga escala, experiências robóticas heterogêneas tem potencial para transformar o aprendizado robótico.