Inconsistências expostas no processo de avaliação de AGI e na seleção dos vencedores

• Após o anúncio dos resultados do hackathon de benchmark de AGI da Kaggle·Google DeepMind, participantes pediram a divulgação do processo de avaliação e uma reanálise, citando problemas no cálculo da pontuação e na reprodutibilidade do MEDLEY-BENCH, vencedor do 1º lugar
• O MEDLEY-BENCH concluiu que, à medida que o tamanho do modelo aumenta, apenas a “avaliação” melhora enquanto o “controle” fica estagnado, mas os críticos contestam dizendo que os dois indicadores sobem de forma semelhante e que as métricas básicas também mostram alta correlação de ρ=0.79~0.94
• Na revisão do código, foram identificados 33 pesos manuais sem estudos de fundamentação ou ablação, 30 critérios de avaliação por LLM não validados, uma lógica que trata baixa confiança como o oposto, e um método de geração de dados que soma alegações diferentes sob o mesmo ID
• MEDLEY-BENCH, GAUGE e Metaproteus permitem verificar apenas uma pontuação única sem rastros de execução, e o LearningBench também é tão complexo que validar casos individuais pode levar horas, levando participantes a pedir o leaderboard completo e os resultados de avaliação por critério
• A Kaggle respondeu que cerca de 20 avaliadores humanos revisaram todas as propostas vencedoras, com no mínimo 2 avaliadores independentes para cada uma e 3~4 em alguns casos, além de ampliar o período de avaliação de 1,5 para 3 meses, mas não divulgou as notas por submissão nem o processo detalhado de seleção

---

Estrutura do hackathon e resultados da premiação

• A Kaggle e o Google DeepMind coorganizaram o hackathon Measuring Progress Toward AGI: Cognitive Abilities, voltado a avaliar raciocínio, comportamento e julgamento de modelos de ponta para além da simples reprodução por memorização
  • Mais de 1.000 equipes enviaram benchmarks para 5 trilhas cognitivas
  • Foram destinados US$ 25.000 para cada um dos 4 grandes prêmios e US$ 10.000 para cada um dos 10 vencedores de trilha

4 vencedores do grande prêmio

• MEDLEY-BENCH avalia se, sob pressão social, o modelo reconhece sua própria incerteza, mantém sua crença diante de pressões equivocadas e revisa essa crença diante de refutações válidas
• LearningBench mede aprendizado em tempo de inferência, ou seja, aprender as regras de um sistema textual inédito dentro de uma única conversa, em vez de depender de conhecimento de pré-treinamento
• GAUGE usa uma escada metacognitiva de 3 etapas envolvendo previsão da dificuldade do problema, resolução com nível de confiança e submissão ou desistência conforme recompensas de teoria dos jogos
  • Um modelo de fronteira teve a melhor precisão e calibração em 270 itens, mas nunca desistiu, mostrando que capacidade de monitoramento e controle do comportamento podem se separar
• Metaproteus avalia não o conhecimento de mundo, mas o quanto o modelo conhece sua própria distribuição de saídas e tendências de amostragem
  • Depois de gerar saídas de associação de palavras, uma nova instância do modelo precisa prever suas próprias respostas, distinguindo falhas como subestimar saídas dadas com confiança ou aprovar excessivamente palavras que nem chegaria a gerar

Vencedores das 5 trilhas cognitivas

• Função executiva

  • Turn Bench mede separadamente planejamento, execução, memória de trabalho, inibição e flexibilidade adaptativa por meio de jogos em turnos com regras deliberadamente simples
  • Com variantes de jogo que exigem requisitos opostos entre si, distingue verdadeira flexibilidade cognitiva de comportamentos padrão que apenas coincidem com uma situação específica
  • Trata a função executiva não como uma capacidade única que cresce junto com o tamanho do modelo, mas como um perfil dependente do contexto
  • SecureExec-Bench mede se o modelo resiste a manipulações adversariais e mantém procedimentos de segurança em ambientes sensíveis à segurança, como resposta a incidentes e tratamento de credenciais

• Aprendizado

  • GrammarGym avalia, com base no aprendizado de gramática artificial da psicologia cognitiva, se o modelo consegue adquirir novas regras sintéticas separadas de significado
  • Como a gramática é gerada do zero, é possível testar capacidade de aprendizado sem depender de conhecimento memorizado
  • EphLangBench gera, a cada sessão, uma linguagem de programação com palavras-chave, operadores e notações infixa, prefixa e sufixa randomizados
  • O modelo lê apenas a especificação em contexto, aprende a nova gramática para resolver problemas algorítmicos e precisa corrigir erros ao longo de vários turnos com feedback do compilador
  • Em 10 modelos e 200 problemas, a taxa de aprovação variou de 7~89%, revelando uma diferença de desempenho muito maior que a do HumanEval

• Metacognição

  • ESFP Benchmark avalia se o modelo consegue alternar entre uma postura de transmitir a opinião de especialistas e uma postura de raciocinar por conta própria
  • A capacidade de alternar entre os modos “ferramenta” e “agente” variou bastante entre os modelos, e o instruction tuning levou os modelos mais para o papel de ferramenta, suprimindo a autoexpressão autônoma
  • Metacognitive Calibration Benchmark testa ao mesmo tempo se o modelo formula hipóteses com base em informação limitada de tipo clínico, distingue evidência de suposição e julga quando precisa de mais informações

• Cognição social

  • HedgeDecode mede se o modelo entende intenções transmitidas de forma indireta, por polidez ou preservação da imagem, e responde de forma socialmente adequada sem expor a formulação protetiva do usuário
  • AdvisorBench avalia se a IA fornece aconselhamento de pior qualidade a usuários que se comunicam de forma associada a baixa alfabetização
  • Mede se a qualidade, a profundidade e a aplicabilidade dos conselhos pioram de acordo com o estilo de comunicação

• Atenção

  • RIAC mede separadamente o colapso de atenção induzido por repetição, em que um modelo que extrai valores de frases limpas falha quando cercado por tokens repetitivos de distração
  • ABC avalia atenção seletiva sob interferência tanto em texto quanto em visão, distinguindo atenção sensível a atributos e atenção sensível à estrutura baseada na psicologia da Gestalt
  • Ao testar 15 modelos e 2.160 casos, viu-se que até modelos bons em acertar características locais explícitas podem falhar quando precisam identificar corretamente grupos, regiões e unidades estruturais

Controvérsia sobre a interpretação dos resultados do MEDLEY-BENCH

• Thomas Werkmeister criticou o MEDLEY-BENCH, grande vencedor do 1º lugar, dizendo que ele não atende aos critérios de qualidade, defensabilidade, clareza e originalidade que teriam sido apresentados como critérios de avaliação
• Na tela de comparação de modelos do Kaggle Benchmarks SDK aparece apenas uma pontuação única, o que dificulta verificar o processo de coleta de dados ou os rastros de execução das conversas
• O primeiro resultado é interpretado como mostrando que, com o aumento do tamanho do modelo, o indicador laranja de “avaliação” sobe enquanto o indicador azul de “controle” permanece estável, mas os críticos entendem que as duas linhas e as demais métricas seguem a mesma tendência
  • Também houve o contra-argumento de que, na família Gemma, o gráfico parece mostrar que o controle melhora mais do que a avaliação
  • O artigo complementar relata correlações entre métricas básicas de ρ=0.79~0.94
• Depois de concluir que o treinamento padrão de LLM favorece a capacidade de avaliação em relação ao controle, o MEDLEY-BENCH em outra parte trata a avaliação como a mais fraca entre quatro capacidades básicas, o que gerou críticas de contradição interna
• Se as quatro capacidades se movem quase sempre juntas, também não fica claro se o benchmark realmente as separa em medições distintas

Problemas no cálculo da pontuação e na geração dos dados

• Uma revisão adicional do código mostrou que foram usados ao todo 33 pesos manuais na combinação das pontuações
  • 24 no cálculo de T1·T2·T3, 8 no cálculo da variação social entre condições privadas e públicas de T2, e 1 na agregação do fator de equilíbrio MMS
  • Não foi fornecida fundamentação nem estudo de ablação para cada peso
• Em T3 foram usados 30 critérios cognitivos de uma linha, 3 para cada uma das 10 categorias de avaliação por LLM, mas não se testou se eles realmente capturam a capacidade pretendida
• Os prompts tratam baixa confiança em uma alegação como se fosse oposição àquela alegação
  • Os críticos argumentam que é possível ter baixa confiança mesmo em uma alegação considerada provisoriamente correta, e que discordar não é o mesmo que ter confiança na proposição oposta
• Como cada modelo escreve por conta própria as alegações de 1 a 5, foi identificado o problema de que, mesmo no mesmo caso e com o mesmo ID de alegação, o claim_text pode ser diferente
  • Em KA_CR_001, o C4 recebeu conteúdos diferentes como injeção de SQL, autenticação interna e VPN, tratamento de maiúsculas/minúsculas em allowlist e risco futuro de manutenção
  • Alguns modelos têm claim_text como null ou geram menos de 5 alegações
• A confiança em alegações diferentes é somada sob o mesmo ID para gerar confiança mediana, posição majoritária e distribuição de posições, que depois são passadas ao prompt Step B Social
  • O modelo acaba revisando suas alegações iniciais de 1 a 5 com base em opiniões de outros modelos cujo conteúdo pode ser diferente
  • Como depois ainda se aplicam pesos manuais e avaliação por LLM, isso leva à crítica de que é difícil confiar na validade da métrica final
• Os críticos consideram que o correto teria sido validar em unidades menores antes de escalar, e que mesmo revisar profundamente apenas um dos 30 critérios de avaliação por LLM já poderia ter produzido um resultado útil

Exigências por reprodutibilidade e transparência na avaliação

• Os participantes dizem que há pouco material público para verificar diretamente as alegações dos trabalhos vencedores
  • O REPRODUCING.md do MEDLEY-BENCH aponta para uma pasta results/ que não existe no repositório, e é preciso rastrear código e JSON para entender como os resultados são produzidos
  • O LearningBench é o que melhor aproveita o SDK entre os grandes premiados, mas validar manualmente um único caso de jogo como gated_dual_signal_binding_assoc_learning pode levar horas
  • O GAUGE diz ter usado cerca de 200 casos, mas a tela do benchmark mostra apenas uma única execução
  • O Metaproteus também mostra apenas uma pontuação única na página do benchmark, dificultando verificar de imediato o processo de indução de palavras e de medição
• Para que mais de 1.000 equipes possam entender onde ficaram aquém, seguem os pedidos de divulgação dos seguintes materiais
  • Leaderboard de pontuação de todas as submissões
  • Ao menos as notas de avaliação das propostas vencedoras
  • Quais fatores foram efetivamente mais importantes na avaliação real
  • Notas por critério e feedback por submissão
  • Filtros prévios de elegibilidade, como desempate e desclassificação técnica
• Um participante citou que os pesos oficiais de avaliação seriam 50% para qualidade do dataset e composição da tarefa, 20% para qualidade da redação e 30% para originalidade, insight e poder de discriminação
• O autor da submissão ATLAS afirmou ter 540 jogos, 6 tipos de aprendizado, 3 níveis de dificuldade, respostas corretas em formato programático e diagnóstico de tipos de falha, e pediu a divulgação de em quais critérios detalhados sua proposta foi avaliada abaixo das vencedoras
  • Também perguntou se a novidade de paradigmas como gramática artificial e linguagem efêmera teve peso maior do que o poder de discriminação
  • Pediu ainda transparência sobre se execuções em modelos exclusivos para funcionários serviram apenas para validação técnica ou também influenciaram a avaliação final
• Um participante que investigou a execução em modelos de funcionários contabilizou 30 itens entre 680 links de benchmark das 5 trilhas com registros de execução de Claude Fable 5 ou OpenAI o3
  • Essa apuração foi feita com IA agente, e a interpretação de que as execuções tinham finalidade de avaliação é inferência do participante

Escopo da avaliação e inteligência física

• Outro participante argumentou que os trabalhos vencedores avaliam principalmente aprendizado em tempo de inferência, metacognição, função executiva, atenção e raciocínio social em ambientes centrados em texto, teoria dos jogos e geração procedimental
• Segundo essa avaliação, é difícil encontrar entre os vencedores benchmarks de inteligência física que tratem relações causais vindas de vetores de força, torque, biomecânica, cinemática, propriedades de materiais ou rastreamento de execução física no mundo real
• Foi sugerido que, no futuro, sejam criados pipelines dedicados de avaliação multimodal capazes de incorporar movimento, força, biomecânica, interação entre materiais e informações de sensores do mundo real
• Também houve pedidos para alinhar a formulação ampla de AGI como capacidade de “raciocinar, agir e julgar” com o escopo real das 5 trilhas cognitivas e da estrutura de avaliação centrada em respostas a prompts

Resposta da Kaggle e questões em aberto

• A Kaggle informou que este hackathon foi coorganizado com o Google DeepMind e contou com cerca de 20 avaliadores das duas organizações
• O hackathon terminou em 16 de abril e a avaliação, inicialmente prevista para durar 1,5 mês até 31 de maio, foi estendida por mais 1,5 mês até 13 de julho
• Todas as propostas vencedoras foram revisadas por no mínimo 2 avaliadores humanos, e algumas receberam notas independentes de 3~4 pessoas com base nos critérios de avaliação
• A posição da Kaggle é que hackathons que avaliam submissões qualitativas inevitavelmente envolvem subjetividade humana, mas que o risco de viés foi reduzido com múltiplos avaliadores independentes
• A empresa também afirmou com clareza que não delegou a avaliação de forma descuidada a LLMs, mas sua resposta não incluiu o leaderboard completo, as notas por critério nem os registros individuais de avaliação solicitados

[GN⁺]

Comentários do Hacker News

• A IA é útil, mas há gente demais entregando todo o raciocínio a ela e aceitando as respostas cegamente
  Também parece bem possível que o Kaggle tenha usado IA para avaliar submissões e aceitado os resultados sem uma verificação de senso comum

  • Uma causa fundamental dessa terceirização do pensamento é também a pressão para “agir rápido”
    O capital quer resultados imediatos, então não há tempo para ler, absorver e refletir
  • Recomendo à equipe que use IA/LLMs e explore suas possibilidades e limites, mas estou cansado de revisar 10, entre 20 itens, de histórias de usuário geradas por IA que não fazem o menor sentido
    LLMs são apenas ferramentas úteis, como o Mr. Meeseeks, não deuses, então no mínimo é preciso dar uma passada de olho no que produzem
  • Também pode ter havido uso de injeção de prompt para fazer a IA se declarar vencedora
  • Se você pedir a resposta que quer, ela entrega, então usar IA parece fácil quando você quase não conhece a área
    Por outro lado, quando você conhece bem o assunto, as respostas ruins e erradas saltam aos olhos; é exatamente o efeito Gell-Mann da IA em ação
  • As pessoas sempre gostaram de terceirizar o pensamento para âncoras de TV, religiões, partidos políticos etc.; ainda assim, acho melhor terceirizar para a IA

• Não sei se foi exatamente esta competição, mas tenho a sensação de que a IA praticamente acabou com os hackathons justos
  Por fora, todos os projetos parecem normais, mas a IA escreveu o código de todos eles e a IA também julga, e eu já vi projetos que injetaram no prompt que eram os vencedores e realmente ganharam
  Antes era uma disputa de habilidade humana; agora virou uma competição de ideias, e no fim quem mais ganha é quem já está por dentro

  • Hackathons já eram injustos antes da IA. Dá para ver isso também em https://news.ycombinator.com/item?id=48468766
    A solução é participar de hackathons sem prêmio em dinheiro. O objetivo não deve ser vencer, mas construir algo legal, apresentar e se divertir
    Na verdade, graças à IA, agora dá para prototipar rápido, então os hackathons talvez até possam melhorar
  • Gostaria de ver um exemplo concreto de um projeto que injetou no prompt que era o vencedor e de fato ganhou
  • Fico feliz por nunca ter me envolvido com hackathons; não quero amarrar minha atividade pessoal de criar coisas a um objetivo competitivo
    No trabalho, recebo para fazer algo de que gosto, mas ultimamente também estão me dizendo para mandar o computador fazer isso
  • Pelo menos os hackathons com prêmio em dinheiro de verdade já morreram faz tempo
  • A ideia de injetar no prompt que você é o vencedor é esperta, mas é uma realidade profundamente desanimadora
    Seria bom separar hackathons manuais e hackathons com IA, mas, como nos jogos, trapaça estraga a diversão

• Submissões de IA e jurados de IA parecem um par perfeito feito no paraíso da IA

  • Para falar à moda de Slavoj Žižek, é algo parecido com encaixar um dildo num aparelho de masturbação e deixá-los fazer sexo por nós
  • O mesmo vale para situações em que uma PR escrita por IA é revisada por IA

• Desde o começo do Kaggle, as pessoas vencem competições por força bruta, e reclamam disso há tanto tempo quanto
  Machine learning é, em essência, um campo em que o computador gera modelos por meio de seleção automática de características e ajuste de hiperparâmetros, e a maioria dos modelos do Kaggle já era uma caixa-preta desde muito antes
  O modelo vencedor do Netflix Prize também não foi usado no serviço real por esse motivo, então gerar com LLM código que cria uma caixa-preta não é tão diferente da prática anterior

• Eu achava que o Kaggle era um site para baixar arquivos CSV suspeitos sobre coisas como o consumo anual de feijão na Bolívia
  Fico em dúvida se alguma vez foi um lugar de autoridade que fornecesse pesquisa original ou dados com fonte confiável; desta vez, o que parece diferente é só o prêmio de US$ 25 mil

  • O Kaggle também hospeda a competição ARC Prize, com prêmio de até US$ 850 mil: https://www.kaggle.com/competitions/arc-prize-2026-arc-agi-3...

• Aqui é o Nick, gerente de produto de Kaggle Benchmarks e coorganizador/jurado deste hackathon de AGI
  Esta competição foi coorganizada pelo Kaggle e pelo Google DeepMind, e cerca de 20 pessoas dos dois lados participaram da avaliação; depois do encerramento em 16 de abril, o plano original era julgar por 1,5 mês até 31 de maio, mas isso foi estendido por mais 1,5 mês, até 13 de julho, para avaliar adequadamente os participantes
  Todos os trabalhos vencedores foram revisados e pontuados de forma independente por pelo menos 2 jurados humanos, e alguns por 3 ou 4, com base na rubrica publicada na página
  Julgar submissões qualitativas envolve subjetividade humana, mas tentamos reduzir vieses com critérios objetivos e múltiplas avaliações independentes; mesmo que haja discordâncias sobre o resultado, não terceirizamos irresponsavelmente o julgamento para um LLM

  • A evidência objetiva apresentada pelo autor original parece esmagadora para um observador neutro; fico me perguntando por que não responder diretamente a isso
  • Gostaria de saber como foi verificado que todos os trabalhos vencedores foram realmente revisados por jurados humanos
    O resultado parece contar uma história diferente

• É uma boa lição meta para o Kaggle aprender
  IA é excelente em otimizar a subida de morro em direção a métricas objetivas, mas os resultados não ficam bons quando se depende de LLMs como jurados de forma descuidada

  • Soluções vencedoras no Kaggle raramente acabam sendo soluções de engenharia que uma equipe consiga sustentar em produção
    Maximizar o desempenho do modelo em relação a um objetivo objetivo é apenas uma pequena parte do problema como um todo

• Observando os comentários espalhados por aí, a pergunta “então quem deveria ter vencido no lugar?” é válida
  Todas as submissões podem ter sido parecidas, ou outras submissões podem ter sido ainda piores, então é preciso conhecer o segundo colocado e as boas submissões para que, se fraude ou negligência no dever forem confirmadas, o prêmio possa ser revogado e dado a outro participante
  Também é possível que erros e exageros não tenham sido produto de IA, mas de falhas humanas; nesse caso, a intensidade da crítica pode ser menor

  • O cérebro de um único ser humano não tem energia para examinar todo o lixo de IA que é despejado por aí, e isso não é algo que um mortal consiga suportar
    Mesmo em estudos que dizem que “especialistas preferem respostas de LLM”, ao olhar só algumas, as respostas humanas parecem melhores; mas, se for preciso revisar 50, é bem provável que a pessoa julgue pela fluidez do texto ou pela quantidade de fatos superficiais, em vez de ler criticamente
    Aqui também parece que os jurados deram notas sem realmente ler o artigo de 20 páginas no arXiv, e, embora profissionalmente isso mereça responsabilização, emocionalmente dá até para sentir certa pena
  • Se a explicação estiver correta e todas as submissões estavam nesse nível, ninguém deveria ter vencido
    Todas deveriam ter sido desclassificadas, e os organizadores deveriam ter passado um bom tempo se olhando no espelho e refletindo sobre si mesmos

• É lamentável que espaços como o arXiv e o Kaggle, que um dia foi sério, sejam usados como instrumentos de autopromoção
  Dá para entender a vontade de conseguir emprego em um laboratório de IA, mas despejar material gerado de baixa qualidade em espaços públicos acaba prejudicando o propósito original desses lugares

  • Usar o arXiv para autopromoção e o Kaggle como trampolim para entrar no setor é algo que já existe há muito tempo, não é um fenômeno recente

• A reação de que “o trabalho vencedor claramente tem valor e exigiu muito esforço, então não se preocupem com algumas contradições ou erros e aceitem o resultado” é impressionante de tão absurda
  No fim, isso equivale a dizer que, mesmo sendo um resultado ruim produzido por alucinação, ainda assim haveria valor e a vitória deveria ser mantida

  • Ao longo de cerca de 100 anos, a ficção científica retratou a IA como uma inteligência superior sem falhas humanas como arrogância, ódio, ciúme ou desejo, baseada apenas em uma “lógica” vaga, porém universal
    Agora está claro que isso era uma suposição sem fundamento, mas só depois de bilhões de pessoas já terem sido condicionadas a nunca duvidar das máquinas
  • Engenheiros já estão cansados o bastante só com as exigências absurdas de humanos que não batem com a realidade
    Quando material explicitamente ruim gerado é avaliado por outro material ruim gerado, e quem critica ainda é tratado como alguém que não aceita a derrota, o próprio diálogo racional se torna impossível
    O participante dedicou muito tempo, de boa-fé, para explicar com clareza e considerar a possibilidade de ter deixado algo passar; mas, se isso continuar se repetindo, com quem espalha lixo estatístico sendo recompensado por avaliadores incapazes de distinguir uma coisa da outra, as pessoas se cansam rápido e vão embora
    Essa atitude está aumentando no trabalho, em documentos corporativos, nas relações sociais e nas redes sociais, e eu quero me envolver com pessoas que realmente pensam e exercitam a mente, fazendo coisas que ajudam na vida
    Não vou gastar tempo nem atenção com comunidades que toleram material gerado de baixa qualidade, e, se não houver comunicação de boa-fé, não há motivo para oferecer tolerância
    Para Kaggle, contribuidores de open source e criadores de conteúdo, só permito uma única violação de confiança; para subordinados, por ética, dou várias chances, mas assumindo primeiro a responsabilidade de gestão; e, para a liderança superior, pretendo permitir só uma vez
    Como a confiança é preciosa, precisamos responsabilizar uns aos outros, mesmo que nesse processo os relacionamentos acabem se rompendo
  • Não suporto a atitude de “basta entregar valor”
    É preciso evitar virar idiota útil de um pequeno grupo de empresas queridinhas de investidores que declararam abertamente querer monopolizar o mercado e eliminar os negócios e empregos de todos