AnySkin: equipando robôs com sensores de toque para aprender tarefas de altíssima precisão
(any-skin.github.io)- Embora o tato seja útil na manipulação robótica, os sensores existentes são difíceis de acoplar e têm baixa reutilização; o AnySkin reduz esse problema com um sensor em formato de pele que pode ser facilmente instalado e substituído no efetuador final
- Ao separar a eletrônica de sensoriamento da superfície, é possível trocar apenas a pele danificada, e o processo de integração é simplificado a um nível semelhante a colocar uma capa no celular e conectar um carregador
- Uma superfície flexível com partículas ferromagnéticas mede, por meio de 5 magnetômetros, a distorção do campo magnético gerada no contato como densidade de fluxo magnético em 3 eixos
- Políticas de clonagem comportamental (Behavior Cloning) mantiveram o sucesso em tarefas de Card Swiping, Plug Insertion e USB Insertion mesmo após a troca da pele, mostrando a possibilidade de generalização entre instâncias do sensor
- Um modelo de detecção de deslizamento com LSTM, treinado com dados de 30 objetos do cotidiano, previu eventos de deslizamento com 92% de precisão; artigo, código, arquivos CAD e ferramenta de design foram disponibilizados
Projeto de sensor tátil plug-and-play
- AnySkin é um sensor em formato de pele para toque em robôs, com o objetivo de oferecer uma estrutura mais fácil de acoplar e usar em um contexto em que o sensoriamento tátil é menos utilizado do que visão ou propriocepção
- As limitações dos sensores táteis existentes estão na falta de versatilidade, substituibilidade e reutilização de dados
- Com base no design simples do ReSkin, ele separa a eletrônica de sensoriamento da interface de sensoriamento
- Apenas a superfície flexível danificada pode ser substituída facilmente
- Foi projetado para ser compatível com diversos efetuadores finais robóticos
- O contato é detectado pela deformação do campo magnético gerado pelas partículas ferromagnéticas magnetizadas dentro da superfície de sensoriamento
- A eletrônica de sensoriamento é composta por 5 magnetômetros (magnetometer), e cada sensor mede a densidade de fluxo magnético em 3 eixos
Desempenho de aprendizado mantido mesmo após a substituição
- O AnySkin tem como objetivo a generalização entre instâncias (cross-instance generalizability), aplicando políticas de manipulação aprendidas em uma instância do sensor a outra nova instância de pele
- Políticas aprendidas por clonagem comportamental mantiveram o sucesso em 3 tarefas mesmo após a substituição da pele
- Card Swiping
- Plug Insertion
- USB Insertion
- Na detecção de deslizamento, um modelo LSTM treinado com dados de 30 objetos do cotidiano previu eventos de deslizamento com 92% de precisão
Método de fabricação e materiais disponibilizados
- A fabricação mistura Smooth-On DragonSkin 10 Slow e partículas magnéticas MQFP-15-7 de 25 μm na proporção 1:1:2, com cura em um molde de 2 partes
- A skin curada é magnetizada com um magnetizador por pulso
- Os arquivos de design da ponta do gripper foram disponibilizados
- Materiais relacionados também são fornecidos
1 comentários
Opiniões no Hacker News
Pelo que entendi, o método consiste em colocar partículas magnéticas em borracha de silicone, magnetizá-las e então detectar, com magnetômetros em vários pontos de referência, mudanças no campo magnético para ler a deformação da borracha e analisar os “pontos de pressão” na superfície.
Parece que a inovação aqui é que o processo de fabricação é suficientemente consistente para que cada interface específica de silicone magnético possa ser usada como uma peça substituível, sem precisar recalibrar por muito tempo os “sinais de entrada”.
Dá a impressão de transformar sensores táteis avançados em algo mais próximo de parafusos usinados do que de pregos artesanais sob medida.
Não conheço bem essa área, mas é realmente impressionante.
Fico curioso se poderia ser usado para separar lixo e recicláveis, e se seria possível recalibrar quando houver sujeira aderida ou envelhecimento. O silicone provavelmente deve ser bem resistente ao envelhecimento.
Também me pergunto se daria para lavar tomates e retirar os cabinhos.
Eu também gostaria de ter um trackpad feito com isso. Fico curioso sobre quanta resolução seria possível obter, e não gostaria de sacrificar muita resolução em troca de recursos como pressão e inclinação.
Dito isso, se a sensação fosse de esfregar o dedo em pele, poderia ser bem arrepiante; não quero uma parte parecida com um pedaço de carne no meu notebook.
Na separação de lixo e recicláveis não há muitos robôs, e a maior parte dos processos usa as propriedades materiais dos objetos. Algumas empresas tentaram usar robôs delta para atingir a alta vazão necessária à rentabilidade, mas não foi suficiente. Talvez seja viável para prefeituras ou universidades com muito orçamento, mas é difícil justificar financeiramente.
Quanto à recalibração, fico curioso para saber como os desenvolvedores lidam com o enfraquecimento do campo magnético ao longo do tempo e com sujeira. O silicone pode ser de um grau lavável, mas em alta vazão, se um material macio fica em contato constante com peças, ele se desgasta e suas características de preensão também mudam.
Para lavar tomates e retirar os cabinhos, os custos de robôs e efetores finais ainda precisariam cair por mais de 10 anos e a eficiência teria que aumentar para superar a lavagem em massa e a remoção manual dos cabinhos, ou então operações mecânicas mais grosseiras. Parece mais um projeto de pós-graduação para um futuro robô doméstico teórico.
O Lenovo TrackPoint provavelmente já oferece 95% do que é necessário para um trackpad, e não acho que esse sensor tátil mire esse mercado.
Onde parece útil é em uma versão simples acoplada a efetores finais existentes para fornecer apenas um feedback booleano de “peça detectada”; para detectar se uma peça se moveu muito durante a preensão e parar o robô; em preensão de alimentos que exige várias combinações de pressão; em tarefas de alinhamento nas quais efetores finais longos dificultam detectar a posição apenas pelas juntas; e na manipulação de tecidos. Tecidos são um problema difícil para robôs, então mais informações sobre a “peça” ajudam, e isso poderia reduzir bastante uma grande barreira para viabilizar a automação da fabricação de calçados a um preço razoável.
O ponto central parece ser um bom chip magnetômetro de 3 eixos[1] disposto em matriz.
As partículas magnéticas embutidas na pele substituível são alinhadas em paralelo durante a etapa de magnetização na fabricação. É uma mistura interessante de vários elementos próximos do estado da arte que ainda podem ser usados até em uma oficina doméstica.
[1] https://www.digikey.com/en/products/detail/melexis-technolog...
ReSkin: versatile, replaceable, lasting tactile skins
https://arxiv.org/abs/2111.00071
Parece realmente útil para instrumentos musicais eletrônicos. Por exemplo, algo como o Linnstrument (https://www.rogerlinndesign.com/linnstrument), que usa uma grade de tiras resistivas sensíveis à força.
Fico curioso se esses sensores, colocados lado a lado, não interfeririam uns nos outros.
O custo preocupa, mas os instrumentos existentes também não são exatamente baratos.
Os modelos grandes são todos bem caros, e fico curioso se essa nova tecnologia poderia ser uma forma de baratear esses produtos.
Poderia ser interessante para instrumentos com mais feedback tátil, como hand drums ou violino. Mas essas superfícies eletrônicas de controle só existem porque o músico humano já não é um robô.
Em tarefas como inserir um USB, fico curioso se o robô detecta mudanças de ângulo quando está alinhado ao buraco ou a diferença de pressão entre os dois “dedos”
Quero saber se é uma sensação de o robô ir “tateando” para alinhar o plugue USB
Também fico curioso se o material base da pele é silicone moldado, ou se poderia ser um TPU imprimível em 3D
https://www.smooth-on.com/products/dragon-skin-10-slow/
Então provavelmente seria difícil imprimir diretamente em 3D, mas acho que dá para imprimir o molde em 3D
Muito bom, e parece muito mais fácil de fabricar do que o antigo sensor Takktile https://biorobotics.harvard.edu/takktile.html
Se houver uma camada suficientemente rígida entre o chip e a pele, parece possível aplicar forças destrutivas à pele sem danificar em nada a placa de circuito. No Takktile, a estrutura fazia o epóxi ficar em contato direto com o sensor de pressão, então, mesmo podendo cobrir com uma camada protetora, a sensibilidade inevitavelmente caía
Também fico curioso sobre o quanto a parte de aprendizado da política é independente da tecnologia. Pergunto-me se o modelo passa a depender do vetor de direção fornecido pela placa, e não da posição de contato. Não digo que isso seja um problema em si; quero saber se a direcionalidade “separa” certas variações e simplifica o processo de aprendizado
Porém, como se usa deep learning, é difícil interpretar exatamente de quais grandezas a política depende. Potencialmente, ela pode ser independente da modalidade, mas até agora não havia sensores que (1) detectassem grandezas intuitivamente relacionadas, como posição de contato e força em 3 eixos, e (2) mostrassem consistência de sinal suficiente para que um modelo de deep learning generalizasse entre objetos
Essa foi a principal motivação do AnySkin, e encontramos um procedimento de fabricação relativamente simples que torna isso possível com uma abordagem de detecção magnética
Fiz um pouco de pesquisa em tato robótico e foi muito divertido
Usamos sensores “biotac”, que tinham desempenho muito bom, mas 1) eram caríssimos e 2) trocar a pele, que se desgastava, era extremamente difícil
Uma vantagem do biotac sobre esta abordagem é que, se você mandar um cheque grande, dá para comprar de fato. Muitas dessas coisas que saem da academia acabam sendo impossíveis de obter, independentemente do preço. Parece legal e eu queria ter alguns
Bastaria imprimir TPU em 3D e inserir ímãs de alta qualidade. Remagnetizar por conta própria provavelmente também deve ser bem fácil, embora possa não ser barato https://www.magnet-physik.de/en/magnetizing-technology/magne...
A placa de baixo me parece ser só uma grade destes produtos https://www.adafruit.com/product/4022
Gostei do gráfico “Fabrication process”. Acho difícil tornar isso mais simples
A aplicação é um sensor tátil, mas o verdadeiro avanço parece estar em colocar partículas magnéticas em direções paralelas dentro de um meio flexível
Algumas perguntas vêm imediatamente à mente. A empresa que fabrica Magnequench certamente sabe que partículas magnéticas podem ser colocadas em outros materiais; então qual será o uso mais comum dessas partículas? Fico curioso se normalmente elas são colocadas em um meio sólido fixo e não flexível, ou em um líquido
Também me pergunto se é mesmo necessário usar Dragon Skin. A ideia de misturar partículas magnéticas em um meio semissólido é interessante. Se as partículas fossem colocadas em gelatina ou Silly Putty, por exemplo, será que seria possível aplicar um campo magnético externo para deformar ou moldar o meio que contém as partículas?
Ao ver frases como “políticas visuotáteis aprendidas para tarefas de precisão, como inserção de USB ou passar um cartão de crédito…” e “modelos fundacionais de grande porte…”, parece que isso permitiria que robôs usassem maçanetas ou puxadores para literalmente abrir portas. Estou animado
Até onde sei, isso não havia sido demonstrado antes, e é um resultado que abre aplicações interessantes em larga escala para este sensor