Meta AI anuncia o CoTracker, um modelo que rastreia todos os pontos (pixels) em um vídeo

• A Meta AI anunciou o CoTracker, um novo modelo para rastrear pontos (pixels) em vídeos
• O CoTracker tem como objetivo rastrear múltiplos pontos ao longo de todo o vídeo, levando em consideração as correlações entre eles
• A arquitetura é baseada em ideias da literatura de fluxo óptico e rastreamento, e usa uma rede Transformer com camadas de atenção especializadas
• Ele pode ser aplicado a vídeos longos usando uma abordagem de janela deslizante e demonstrou ser eficiente e mais preciso em comparação com outros métodos de rastreamento de pontos
• O modelo gera rastreamentos mais limpos e lineares, especialmente mesmo em casos de oclusão
• Em termos de precisão, o CoTracker apresentou desempenho superior a outros estudos, como TAPIR e Multi-Flow Tracking
• Ele representa um avanço importante ao oferecer aos engenheiros de software uma nova ferramenta poderosa para rastrear pontos em vídeos, melhorando desempenho e precisão

[kuroneko]

De alguma forma, o demo é bonito. Pensando no que é necessário em VR, talvez exista até um certo alinhamento com os negócios...

[GN⁺]

Comentários do Hacker News

• O ângulo de negócios da divisão de pesquisa da Meta não é claro, e a relação com o negócio principal não é fácil de entender.
• A experiência do Facebook com pixels de rastreamento parece ter contribuído para o sucesso do modelo CoTracker da Meta.
• A Meta parece estar focada em tornar a RV inacreditavelmente convincente e em criar sistemas de IA capazes de compreender o mundo em tempo real.
• São fornecidos links para o artigo, o GitHub e a demonstração do CoTracker.
• O Google tem sua própria versão de rastreamento de pontos chamada Tapir, com licença Apache-2.0.
• O processo de pesquisa em uma empresa de produto é diferente daquele de uma empresa centrada em engenharia.
• A comparação entre o CoTracker e os algoritmos de estimativa de movimento de codecs de vídeo levanta questionamentos.
• Modelos de IA open source como o CoTracker podem levar startups a um mercado altamente competitivo e de baixa margem.
• Andrew Zisserman, Hartley e Faugeras foram mencionados como figuras influentes.
• O CoTracker pode ter aplicações futuras em AR.

[xguru]

O ângulo de negócios da área de pesquisa da Meta AI não é claro, e a relação com o negócio principal não é compreendida.

Esse é o comentário principal aqui. A pesquisa é boa, mas há muitas partes em que o alinhamento com o negócio não fica muito claro.
Dá até uma sensação de estar vendo o Google de antigamente..