Resumo do artigo publicado pela Apple sobre o MM1, um LLM multimodal

A Apple divulgou os resultados de pesquisa sobre um LLM multimodal chamado MM1. (O código do modelo e os pesos não foram divulgados e, ao que tudo indica, não devem ser no futuro.)

Como há pontos sobre o Image Encoder, o VL-Connector, além do conjunto de dados e dos métodos de treinamento, achei que valeria a pena para quem treina ou faz tuning de modelos dar uma olhada ao menos uma vez, então compartilho aqui um resumo organizado com a ajuda do ChatGPT.

O original pode ser consultado no arXiv com o título 'MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training'.

---

Lição sobre o encoder: a resolução da imagem tem o maior impacto, seguida pelo tamanho do modelo e pela composição dos dados de treinamento.

Encoder lesson: Image resolution has the highest impact, followed by model size and training data composition.

Lição sobre o conector VL: o número de tokens visuais e a resolução da imagem são os fatores mais importantes, enquanto o tipo de conector VL quase não afeta o resultado.

VL Connector Lesson: Number of visual tokens and image resolution matters most, while the type of VL connector has little effect.

Lição de dados 1: dados intercalados são fundamentais para desempenho em few-shot e em tarefas somente de texto, enquanto dados de captioning elevam o desempenho em zero-shot.

Data lesson 1: interleaved data is instrumental for few-shot and textonly performance, while captioning data lifts zero-shot performance.

Lição de dados 2: dados somente de texto ajudam no desempenho em few-shot e em tarefas somente de texto.

Data lesson 2: text-only data helps with few-shot and text-only performance.

Lição de dados 3: uma mistura cuidadosa de dados de imagem e de texto pode gerar desempenho multimodal ideal e manter um forte desempenho em texto.

Data lesson 3: Careful mixture of image and text data can yield optimal multimodal performance and retain strong text performance.

Lição de dados 4: dados sintéticos ajudam no aprendizado few-shot.

Data lesson 4: Synthetic data helps with few-shot learning.