Data2Vec - o primeiro algoritmo de aprendizado autossupervisionado de alto desempenho que funciona com fala, visão e texto

• Código, modelos pré-treinados e artigo disponibilizados em open source pela Meta AI

• O aprendizado autossupervisionado atual sustentou avanços importantes recentes da IA, mas ainda é bem diferente da forma como as pessoas de fato combinam diferentes informações e aprendem de maneira composta

→ Algoritmos de propósito único projetados para imagens são difíceis de aplicar a texto

• O data2vec é o primeiro a funcionar em diferentes modalidades, como fala/visão/texto

→ Novo paradigma: aprendizado autossupervisionado holístico

→ Em visão/fala, apresenta desempenho superior ao de algoritmos de propósito único e também é competitivo em NLP

[ktasha45]

Interessante.

[xguru]

Data2vec: framework para aprendizado de diversas modalidades https://smilegate.ai/2022/01/23/data2vec/