Alcançando 78% de acurácia no MNIST usando GZIP com menos de 10 linhas de código

• Artigo sobre alcançar 78% de acurácia no conjunto de dados MNIST usando GZIP com menos de 10 linhas de código
• O autor enfatiza que a novidade deste post não é atingir resultados de ponta, mas mostrar o potencial da compressão como uma ferramenta de classificação singular e sem modelo
• O código fornecido usa GZIP e NCD (Normalized Compression Distance) como métrica de similaridade, e k-NN (k-Nearest Neighbors) para classificação
• O GZIP é usado como ferramenta para medir a complexidade ou o conteúdo de informação de pontos de dados individuais, enquanto o NCD fornece uma medida normalizada de quão semelhantes dois pontos de dados são
• O algoritmo calcula o NCD com todas as amostras de treino, ordena esses valores e seleciona as k menores distâncias. Entre esses k=5 vizinhos mais próximos, a classe majoritária é prevista como o rótulo da amostra de teste
• O autor reconhece que essa abordagem é computacionalmente cara e que apenas uma parte das imagens de teste foi usada para medir a acurácia
• O autor também fornece uma versão menos obscura do algoritmo para facilitar a compreensão
• O autor menciona uma abordagem semelhante adotada por Andreas Kirsch em 2019, que alcançou cerca de 35% de acurácia
• O autor passou a usar compressão como mecanismo de classificação de imagens após ler um post sobre geração de texto a partir de compressão de dados e um artigo sobre classificação de texto sem parâmetros
• O autor já havia trabalhado com compressão de imagens para visão computacional em edge e tinha interesse em aplicar essa técnica ao conjunto de dados MNIST

[GN⁺]

Comentários do Hacker News

• Artigo sobre alcançar 78% de precisão no conjunto de dados MNIST usando GZIP com menos de 10 linhas de código
• Os comentaristas testaram substituir a função de distância no código por métricas mais simples, o que melhorou a precisão e reduziu a demanda computacional
  • A distância euclidiana alcançou 93% de precisão em cerca de 0,5 segundo após binarizar as imagens
  • A distância de Jaccard alcançou 94% de precisão em cerca de 0,7 segundo após binarizar as imagens
  • A dissimilaridade de Dice alcançou 94% de precisão em cerca de 0,8 segundo após binarizar as imagens
• Outras técnicas para comparação mostraram que Linear SVC teve 92% de precisão, SVC rbf 96,4%, SVC poly 94,5%, regressão logística 89% e Naive Bayes 81%
• Os comentaristas sugerem que, embora o código seja elegante e conciso, 78% de precisão é considerado baixo para MNIST, e que até mesmo um modelo simples feito em Tensorflow alcança facilmente 90%
• Os melhores modelos para MNIST são classificados com 99,87% de precisão
• Alguns comentaristas sugerem que substituir a distância de compressão normalizada (NCD) pela distância euclidiana pode aumentar a precisão de teste em 15% e economizar muito processamento
• Alguns comentaristas sugerem que o conjunto de dados MNIST deveria ser aposentado, já que se tornou relativamente fácil obter alta precisão nele
• Há uma discussão sobre o potencial de encontrar padrões em dados altamente comprimidos para obter melhor compressão
• Alguns comentaristas têm interesse em medir distância de informação com compressores de uso geral e modelos de linguagem alternativos
• Um comentarista menciona o uso de um mecanismo de atenção que combina distância de compressão normalizada (gzip) com convolução discreta entre sequências candidatas