ONE-PEACE: modelo de representação geral para multimodalidade ilimitada
(github.com/OFA-Sys)- Modelo de representação geral que abrange modalidades de visão, áudio e linguagem
- Apresenta excelentes resultados em tarefas integradas mesmo sem modelos pré-treinados
- Com um forte Zero-shot Retrieval emergente, é possível alinhar modalidades que não foram pareadas nos dados de treinamento
- Audio-to-Image, Audio+Text-to-Image, Audio+Image-to-Image
1 comentários
Pelo que vi, superou o estado da arte em muitas tarefas.