Gemma — o modelo aberto de ponta do Google

• O Google acredita em criar uma IA útil para todos e vem contribuindo com inovações para a comunidade aberta, como Transformers, TensorFlow, BERT, T5, JAX, AlphaFold e AlphaCode
• Gemma é uma família de modelos abertos leves e de ponta, criada com base nas mesmas pesquisas e tecnologias usadas para desenvolver os modelos Gemini
  • Foi desenvolvida pelo Google DeepMind e outras equipes, com inspiração em gemma, palavra em latim que significa “joia”
• A partir de hoje, está disponível globalmente, junto com pesos de modelo, ferramentas para apoiar a inovação dos desenvolvedores, incentivar a colaboração e orientar o uso responsável dos modelos Gemma
• Ao compartilhar componentes de tecnologia e infraestrutura com o Gemini, o Gemma 2B e o 7B alcançam o melhor desempenho proporcional ao tamanho em comparação com outros modelos abertos
• Pode ser executado diretamente no laptop ou desktop do desenvolvedor e, ao mesmo tempo em que supera modelos muito maiores nos principais benchmarks, segue padrões rigorosos para fornecer resultados seguros e responsáveis
• Oferece um toolchain para inferência e SFT (ajuste fino supervisionado) em todos os principais frameworks, como JAX, PyTorch e TensorFlow, por meio do Native Keras 3.0
• É fácil começar a usar o Gemma com integrações a ferramentas populares como notebooks do Colab e do Kaggle, Hugging Face, MaxText, NVIDIA NeMo e TensorRT-LLM
• Os modelos Gemma pré-treinados e ajustados por instrução podem ser implantados facilmente no Vertex AI e no Google Kubernetes Engine (GKE), para execução em notebooks, workstations ou no Google Cloud
• Garante desempenho líder do setor com otimizações para várias plataformas de hardware de IA, incluindo GPUs da NVIDIA e Google Cloud TPU
• Permite uso comercial e distribuição para organizações de qualquer porte, de acordo com os termos de uso

Responsável desde a concepção

• O Gemma foi projetado com os princípios de IA em primeiro lugar e usa técnicas automatizadas para filtrar informações pessoais e outros dados sensíveis do conjunto de treinamento
• Além disso, faz amplo uso de aprendizado por reforço com feedback humano (RLHF) em modelos ajustados por instrução para alinhá-los a comportamentos responsáveis
• Para entender e reduzir o perfil de risco dos modelos Gemma, foram realizadas avaliações robustas, incluindo red teaming manual, testes adversariais automatizados e avaliação da capacidade do modelo para atividades perigosas

Otimizado em frameworks, ferramentas e hardware

• Os modelos Gemma podem ser ajustados com dados próprios para atender às necessidades de aplicações específicas e oferecem suporte a diversas ferramentas e sistemas
• Ferramentas multiframeowork: uso do framework de sua preferência, como Keras 3.0, PyTorch nativo, JAX e Hugging Face Transformers. Implementações de referência disponíveis
• Compatibilidade entre dispositivos: pode ser executado em dispositivos populares, incluindo laptops, desktops, IoT, mobile e cloud
• Plataformas de hardware de ponta: em parceria com a NVIDIA, garante desempenho líder do setor e integração com tecnologia de ponta por meio de otimizações para GPUs da NVIDIA, de data centers e nuvem até PCs locais com RTX AI
• Otimizado no Google Cloud: com o Vertex AI, oferece um amplo conjunto de ferramentas de MLOps e várias opções de tuning, além de implantação com um clique usando otimizações de inferência integradas

Créditos gratuitos para pesquisa e desenvolvimento

• O Gemma foi criado para a comunidade de desenvolvedores e pesquisadores que impulsiona a inovação em IA, e é possível começar a usá-lo hoje com acesso gratuito no Kaggle, camada gratuita de notebooks do Colab e US$ 300 em créditos para novos usuários do Google Cloud
• Pesquisadores podem solicitar até US$ 500.000 em créditos do Google Cloud para acelerar seus projetos

[dodok8]

Agora parece que só a OpenAI é que está fechada.

[xguru]

Opiniões no Hacker News

• Um ponto a observar nos termos de uso do Gemma, do Google, é a cláusula de que o usuário deve fazer esforços razoáveis para usar a versão mais recente do Gemma. Isso acaba anulando uma grande vantagem de operar seu próprio modelo, que é poder se proteger do risco de prompts cuidadosamente testados serem quebrados por atualizações do modelo, então há insatisfação especialmente com essa cláusula.
• Os resultados de benchmark do Gemma 7B aparecem em um nível semelhante ao do Mistral 7B. Em testes como MMLU, HellaSwag e HumanEval, o Gemma 7B mostra desempenho competitivo em comparação com o Mistral 7B.
• O modelo Gemma tem algumas particularidades:
  • o tamanho oculto do feedforward é 16 vezes o d_model, diferente da maioria dos modelos, que usam 4 vezes.
  • o tamanho do vocabulário é de 256K, 10 vezes maior que os 32K do Mistral.
  • o número de tokens de treinamento é de 6T, 3 vezes maior que os 2T do Llama2.
  • além disso, usa variações clássicas de transformer, como MQA, RoPE e RMSNorm.
  • há uma pergunta sobre qual era o tamanho do batch que permitiu treinar o modelo tão rapidamente.
• É levantada a dúvida sobre a possibilidade de obter o modelo sem "alignment" (aparentemente no sentido de ajuste fino ideológico). Aponta-se que, em muitos casos, as respostas do Gemini se tornaram inúteis por causa desse ajuste fino ideológico.
• Uma opinião pessoal de que não dá para confiar nos modelos do Google. Ao ser perguntado sobre o período Heian do Japão, o modelo forneceu informações completamente sem sentido, e os erros eram tão óbvios que pareciam piada ou paródia. Menciona-se que os modelos Llama apresentaram desempenho muito melhor.
• É expressa uma opinião positiva de que é louvável a equipe do Gemma participar da seção de comentários e responder às perguntas.
• O modelo Gemma forneceu informações incorretas sobre a estrutura artificial mais alta do mundo, o país mais rico do mundo e quantos centímetros há em um pé. Esses erros levantam dúvidas sobre a precisão do modelo.
• O modelo Gemma-7B foi listado no ranking Vectara HHEM, registrando taxa de resposta de 100% e taxa de alucinação de 7,5%. É um desempenho bastante bom para um modelo com 7B de parâmetros.
• Menciona-se os benchmarks impressionantes do modelo Gemma, avaliando que até mesmo o modelo 2B parece bastante decente. É expressa expectativa de dedicar o fim de semana a explorar esse modelo.
• É mencionado que, se há 5 anos alguém perguntasse qual entre OpenAI, Meta e Google seria a mais aberta em relação à IA, a maioria provavelmente teria escolhido a OpenAI. No entanto, considera-se irônico que hoje empresas de trilhões de dólares como Meta e Google estejam lançando modelos abertos e poderosos que podem ser usados comercialmente.