OK-Robot: um framework aberto e modular para tarefas zero-shot de pegar e soltar em ambientes domésticos condicionadas por linguagem
- O OK-Robot é um framework aberto e modular para tarefas zero-shot de pegar e soltar baseadas em instruções de linguagem em ambientes domésticos arbitrários.
- Em 10 ambientes domésticos na cidade de Nova York, o OK-Robot tentou 171 tarefas de pegar e soltar, mostrando 5 amostras de tarefas em cada uma de 5 casas.
Entendendo o desempenho do OK-Robot
- O OK-Robot consegue demonstrar generalização zero-shot em ambientes totalmente novos, mas foi feita uma análise para entender melhor as razões de sucesso e fracasso.
- Em novos ambientes domésticos, apresentou uma taxa de sucesso de 58,5%, mas há uma longa cauda de causas de falha; as três principais são não recuperar o objeto correto na memória semântica (9,3%), obter poses difíceis no módulo de manipulação (8,0%) e problemas de hardware (7,5%).
Artigo
- Título: "OK-Robot: O que realmente importa na integração de modelos de conhecimento abertos para robótica"
- O artigo pode ser lido em formatos arXiv e PDF, e fornece informações de citação em formato bibtex.
Código
- O código do OK-Robot pode ser obtido no GitHub; o código-fonte é disponibilizado sob a licença MIT, e o conteúdo do site é licenciado sob CC ANS 4.0.
Opinião do GN⁺
- O projeto OK-Robot apresenta uma abordagem inovadora para integrar compreensão de linguagem e interação física no campo da robótica.
- Esse framework pode desempenhar um papel importante na melhoria da autonomia e da adaptabilidade de robôs em ambientes domésticos reais.
- Por meio do código e do artigo disponibilizados, pesquisadores e desenvolvedores têm a oportunidade de avançar ainda mais essa tecnologia e aplicá-la em diversas áreas.
3 comentários
https://hello-robot.com/purchase
O produto em si custa US$ 25 mil...
Além disso, precisa de um iPhone Pro
O carregador com dock custa US$ 995 kkkkk
É um preço pra fazer otário de trouxa?
Por que a docking station é realmente tão cara assim?
O jeito de conexão também parece ser de encaixar diretamente um conector DC.. kkk
https://hello-robot.com/stretch-docking-station
Comentários do Hacker News
O robô parece executar as tarefas lentamente, mas os testes mostram que ele conclui a maioria delas mais rápido, com mais precisão e sem reclamar do que a Geração Z.
É um avanço impressionante que pode mudar a vida de pessoas com deficiência, idosos, gamers, pessoas extremamente preguiçosas e de quem cuida delas.
Aponta a possibilidade de resolver tarefas de longo prazo por meio de grandes modelos baseados em ficção interativa.
Perguntas sobre como o robô reconhece objetos, como percebe quando não consegue executar uma solicitação e sua capacidade de lidar com objetos encobertos.
Opinião pessoal de que gostaria de comprar um robô de US$ 25.000 para dobrar e guardar roupas.
Dúvida sobre por que robôs de propósito geral são tão lentos e por que, apesar da expectativa de que máquinas executem tarefas mais rápido que humanos, isso não acontece na prática.
Menção a robôs como o Dobb-e.
Expectativa ao acompanhar o progresso do projeto, com a ideia de que a integração com dispositivos de mobilidade pode trazer uma grande mudança para pessoas com limitações físicas.
A análise de falhas é bem feita, e há curiosidade sobre o que constitui uma falha de hardware e como isso é determinado em cinco testes, como no caso em que a "Realsense forneceu profundidade incorreta".
Desejo por um veículo-plataforma estabilizado por giroscópio e pergunta sobre a existência de uma solução capaz de transportar bebidas e petiscos por terrenos acidentados.