"Números imprecisos no artigo \"gzip beats BERT\"?"

• O recente artigo que chamou atenção no Twitter, "Classificação de texto sem autor": um método de classificação sem parâmetros usando compressores
• O autor verificou o código-fonte para reproduzir os resultados do artigo e encontrou um bug ou escolhas inesperadas no código de kNN.
• Devido a um bug no código, os números de acurácia desse método aparecem mais altos do que o esperado.
• Na Tabela 5 do artigo, o método com gzip mostra desempenho superior a outros métodos baseados em redes neurais.
• O autor recalculou os números e descobriu que os resultados corrigidos mudavam significativamente as conclusões do experimento.
• O artigo usou um classificador kNN com k=2, o que é uma escolha estranha para classificação com kNN.
• No código-fonte, há uma estratégia inesperada de desempate que afeta a acurácia reportada.
• O autor fornece sua própria implementação para comparar os resultados usando outra estratégia de desempate.
• Os resultados recalculados mostram que o código original e a implementação do autor produzem resultados semelhantes.
• Ainda restam dúvidas sobre a alta acurácia no dataset das Filipinas e sobre a pequena diferença entre os resultados de "table5" e "code".

[GN⁺]

Comentários do Hacker News

• O erro no artigo "gzip beats BERT" é um erro metodológico minucioso em ML.
• Aplicar algoritmos de compressão em ML não é um "almoço grátis" e talvez não produza nenhuma mágica especial.
• O autor do post no blog abriu uma issue no GitHub sobre o artigo.
• Boa ciência exige boa engenharia de software, e erros em experimentos são comuns.
• O post no blog sobre esse problema está sendo bem recebido por ajudar a jogar luz sobre a questão.
• A escolha do kNN como classificador no artigo levanta dúvidas, e algoritmos alternativos são sugeridos.
• Os resultados do artigo levantaram dúvidas sobre como algoritmos de compressão poderiam superar LLMs.
• As pessoas que fizeram afirmações grandiosas sobre o artigo talvez precisem reconsiderá-las.
• O post no blog também gerou discussões e análises adicionais no Twitter.
• Foi levantada a possibilidade de empates ocorrendo aleatoriamente nos resultados do artigo serem levados em conta.