Nova pesquisa, modelos e conjuntos de dados compartilhados pela Meta FAIR

• Resumo

  • A Meta FAIR está divulgando seus resultados de pesquisa mais recentes e apresentou vários modelos, incluindo o Meta Motivo para controle de comportamento de agentes virtuais e o Meta Video Seal para marca d'água em vídeo.
  • Essas pesquisas têm como objetivo avançar a inteligência de máquina e buscam democratizar o acesso a tecnologias capazes de transformar de forma inovadora a interação com o mundo físico.
  • As pesquisas divulgadas se concentram em melhorar as capacidades dos agentes, a robustez e a segurança, além de inovações de arquitetura para que os modelos possam aprender novas informações com eficiência.

• Meta Motivo

  • O Meta Motivo é o primeiro modelo baseado em comportamento para controlar os movimentos de agentes humanoides virtuais, projetado para executar tarefas complexas.
  • O modelo utiliza aprendizado por reforço não supervisionado para aprender comportamentos semelhantes aos humanos e pode resolver várias tarefas de controle corporal completo sem treinamento adicional.
  • Ele demonstra alta robustez a mudanças no ambiente e tem potencial para contribuir para o desenvolvimento de agentes totalmente incorporados no metaverso.

• Meta Video Seal

  • O Meta Video Seal é um framework abrangente para marca d'água em vídeo, adicionando marcas d'água que permitem rastrear a origem dos vídeos.
  • O modelo é resistente a edições de vídeo e algoritmos de compressão, além de dar suporte para que a comunidade de pesquisa integre funcionalidades de marca d'água.
  • Por meio do leaderboard Meta Omni Seal Bench, pesquisadores podem testar e adicionar seus próprios trabalhos.

• Flow Matching

  • Flow Matching é um paradigma generativo para várias modalidades, como imagem, vídeo e áudio, melhorando desempenho e eficiência.
  • Esse método facilita a generalização de dados complexos e permite que a comunidade de pesquisa o utilize em seus próprios projetos generativos.

• Meta Explore Theory-of-Mind

  • O Meta Explore Theory-of-Mind contribui para avaliar e melhorar o desempenho de grandes modelos de linguagem ao gerar diversos dados de raciocínio ToM.
  • Esse framework pode ser usado para avaliar o desempenho de LLMs, reforçar cenários orientados a objetivos e coletar conjuntos de dados interativos.

• Meta Large Concept Models

  • Os Meta Large Concept Models apresentam um novo paradigma de treinamento para modelagem de linguagem, separando representações linguísticas por meio da previsão de conceitos.
  • O modelo mostra desempenho superior ao de LLMs recentes em tarefas de resumo e oferece forte generalização zero-shot para idiomas desconhecidos.

• Meta Dynamic Byte Latent Transformer

  • O Dynamic Byte Latent Transformer é um modelo sem tokenizador que melhora o desempenho em sequências de texto raras.
  • O modelo contribui para melhorar o raciocínio em diversos domínios e se destaca no processamento de sequências raras.

• Meta Memory Layers

  • O Meta Memory Layers propõe uma forma de expandir camadas de memória para aumentar a factualidade.
  • Esse método possibilita a expansão eficiente de arquiteturas de memória esparsa e melhora o desempenho em benchmarks gerais de factualidade.

• Meta Image Diversity Modeling

  • A Meta conduz pesquisas para o desenvolvimento seguro de modelos de geração de imagem e divulgou ferramentas de avaliação para modelos de geração de texto para imagem.
  • Em colaboração com especialistas externos, realiza estudos para melhorar a responsabilidade no modelamento da diversidade de imagens.

• Meta CLIP 1.2

  • O Meta CLIP 1.2 é um marco importante no desenvolvimento de encoders visão-linguagem, contribuindo para mapear com precisão o significado de imagens e linguagem.
  • A Meta divulgou algoritmos de dados e métodos de treinamento para que pesquisadores e desenvolvedores possam avançar a compreensão visão-linguagem.

[GN⁺]

Comentário no Hacker News

• Diversas tecnologias inovadoras estão surgindo na Meta. As tecnologias relacionadas a LLM, em particular, são interessantes

  • Incluem large concept models, dynamic byte latent transformers e sparse memory layers
  • Dizem que cada uma dessas tecnologias melhora a qualidade e a eficiência
  • Fico curioso sobre o ganho de qualidade/eficiência quando todas essas tecnologias são combinadas
  • Há possibilidade de serem aplicadas no Llama 4

• Tive a oportunidade de ouvir uma palestra de Ross Taylor, ex-funcionário da Meta, no encontro AI Engineer London

  • Eu havia deixado passar muitas pesquisas da Meta relacionadas a raciocínio e theory of mind

• É muito divertido tentar fazer a primeira demo

  • O objetivo é fazer o modelo andar de moonwalk
  • Foi fornecido um exemplo do código testado

• "Meta Explore Theory of Mind" é ainda mais interessante

  • Houve um tópico, há um mês, discutindo conceitos relacionados

• Olhando para a situação financeira da Meta, investir milhões de dólares em especialistas de IA não parece ser um grande peso

• Espero que Dynamic Byte Latent Transformers sejam bem-sucedidos

  • Espero o fim dos tokenizers
  • A hierarquia é composta por apenas dois níveis
  • Empilhar mais níveis pode ser uma direção para a pesquisa

• Sempre que organizo texto, me arrependo de não ter treinado um autoencoder denoising em nível de byte

• O "Video Seal" da Meta é uma ferramenta digital que enfatiza a confiabilidade

  • É descrito como uma ferramenta poderosa para rastrear conteúdo mesmo no ambiente da internet

• Fico curioso sobre como adicionar voluntariamente marcas d'água a vídeos de IA ajuda na segurança de IA

• A Meta está contribuindo para tornar a IA menos proprietária