Google afirma que o Gemma 3 é o modelo de IA mais poderoso que pode rodar em uma única GPU

• O Google anunciou o Gemma 3, versão sucessora do modelo de IA Gemma baseado na tecnologia Gemini AI
• O Gemma 3 foi projetado para permitir que desenvolvedores executem aplicações de IA em diversas plataformas
  • Pode rodar de smartphones a estações de trabalho
  • Suporta mais de 35 idiomas
  • Pode analisar texto, imagens e vídeos curtos
• O Google afirma que o Gemma 3 é o "melhor modelo de acelerador único do mundo"
  • Oferece desempenho superior em uma única GPU em relação aos modelos da Facebook Llama, DeepSeek e OpenAI
  • Entrega desempenho otimizado em GPUs da Nvidia e hardware dedicado de IA
  • Vision encoder aprimorado
    • Suporte a imagens de alta resolução e não quadradas
  • Inclui o novo classificador de segurança de imagem ShieldGemma 2
    • Filtra conteúdo sexualmente explícito e conteúdo perigoso ou violento
• O Gemma 3 ficou entre os primeiros colocados no ranking de pontuação ELO do Chatbot Arena
  • Registrou alto desempenho em uma única GPU Nvidia H100
• Continua a polêmica sobre a definição de "aberto" ou "open source" dos modelos Gemma
  • A licença do Google impõe restrições de uso, e isso não mudou neste anúncio

[GN⁺]

Comentários do Hacker News

• Alguns modelos de IA conseguem rezar. Pedi um conselho bíblico e ele disse que rezaria por mim
• Fico curioso sobre quão pequeno um modelo pode ser e ainda ser "geralmente inteligente". Parece que deve existir um tamanho pequeno demais para conter toda a informação
  • Fico me perguntando quando veremos pequenos modelos especializados em áreas específicas. Por exemplo, ao pedir ajuda com programação, talvez não seja necessário saber quem dirigiu Jaws
  • Talvez no futuro existam muitos modelos pequenos e especializados
  • Ou talvez o poder computacional melhore a ponto de conseguirmos rodar modelos completos em desktops ou celulares
• O Llama 3.3 70B talvez não seja considerado algo que roda em "uma única GPU", mas roda bem em um único Mac
  • É muito melhor que o Gemma 3 em manter conceitos ao longo de conversas longas
• O Gemma 3 é muito melhor para escrita em comparação com o 2
  • A grande melhoria é que a janela de contexto de 32k+ pode ser usada de verdade e não vira lixo aleatório
• Durou uma semana depois que a Mistral lançou o 3.1 Small. Esse é o ritmo acelerado do avanço da IA
• O Mistral Small 3.1 foi lançado depois do Gemma 3 e é muito melhor
  • Recusa menos, é mais preciso, fala menos bobagem e é melhor especialmente em programação
• Tecnicamente, o DeepSeek R1 com quantização Unsloth de 1.58-bit roda em uma única GPU e 128GB de RAM do sistema
  • O desempenho é excelente, mas é melhor não ter pressa
• Post do Google da semana passada: [link]
• Fico curioso se alguém usa o GoogleAI
  • Eu uso tradução automática de IA numa empresa de IA com CEO de IA, e todos os produtos reais de GPT são péssimos e têm má reputação
  • Quem iria querer enviar suas conversas privadas para o Google e ser vigiado?
• Fico curioso se isso roda em hardware capado