Como a Databricks criou seu próprio benchmark de IA para programação e quais foram os resultados

• O problema dos benchmarks públicos de programação é que eles não se encaixam exatamente no contexto de cada empresa e podem ser burlados
  • Na Databricks, a avaliação foi feita com um benchmark criado a partir de tarefas e linguagens realmente usadas pela empresa
• O GLM 5.2 resolveu até as tarefas mais difíceis em um nível comparável ao Opus 4.8, mas com preço equivalente a 66% do Opus
• O Sonnet 5 é 1,7x mais barato que o Opus 4.8, mas é ineficiente porque usa 1,9x mais tokens para concluir tarefas reais
• Mesmo usando o mesmo modelo, é possível economizar bastante em custo e tempo de execução dependendo do harness