repo-slopscore: detecção de contribuição de IA/LLM em repositórios Git por análise do histórico de commits

 (slopscan.ava.pet)
1 pontos por GN⁺ 3 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • repo-slopscore é apresentado como uma ferramenta que detecta contribuições de IA/LLM analisando o histórico de commits de repositórios Git
  • O serviço oferece página inicial, varredura de repositório e link para o código-fonte, que está disponível em codeberg.org/polyphony/repo-slopscore
  • O número total de repositórios já varridos aparece como 3058, e a lista de varreduras recentes mostra a URL do repositório junto com o horário da análise em UTC
  • Os alvos de varredura incluem não só GitHub, mas também vários serviços de hospedagem Git como Codeberg, Bitbucket, SourceHut, git.kernel.org e chromium.googlesource.com
  • Alguns repositórios aparecem em itens duplicados por diferenças como barra final ou sufixo .git, então é preciso considerar diferenças de normalização de URL ao interpretar a lista

Pontos principais

  • repo-slopscore é apresentado como um serviço que detecta contribuições de IA/LLM em repositórios Git com base na análise do histórico de commits
  • A página pública oferece função de varredura de repositórios, lista de repositórios analisados recentemente e link para o código-fonte
  • O total de repositórios varridos aparece como 3058
  • A lista recente inclui helix-editor/helix, Agoric/Agoric-sdk, FiloSottile/age, github/copilot-cli, fish-shell/fish-shell, tmux/tmux e httpie/cli
  • Cada link de resultado de varredura é formado anexando o endereço original do repositório, codificado em URL, abaixo de slopscan.ava.pet/repo/

Contexto importante

  • Os alvos de varredura não se limitam ao GitHub e incluem vários domínios de hospedagem, como Codeberg, Bitbucket, SourceHut, git.kernel.org, chromium.googlesource.com, gcc.gnu.org, gerrit.wikimedia.org e git.ffmpeg.org
  • A lista inclui projetos open source conhecidos como OpenRGB, coreboot, gentoo/gentoo, guix/guix, wlroots, forgejo, ziglang/zig, FFmpeg, FreeCAD, WebKit e NixOS/nixpkgs
  • Também aparecem repositórios relacionados a segurança, sistemas e infraestrutura, como Mbed-TLS/mbedtls, OpenVPN/openvpn, WireGuard/wireguard-windows, Yubico/yubikey-manager, NationalSecurityAgency/ghidra e ReFirmLabs/binwalk
  • Há ainda repositórios com nomes ligados a IA ou slop, como anthropics/claude-code, anthropics/claudes-c-compiler, codeberg.org/brib/slopfree-software-index e codeberg.org/jruz/slop-detector
  • Os horários de análise vão do início de maio de 2026 até a faixa de 00h UTC de 14 de junho de 2026, e a lista de varreduras recentes mostra itens de 13 de junho de 2026 23:22:37 +0000 até 14 de junho de 2026 00:36:00 +0000
  • Há casos em que o mesmo projeto aparece como itens separados por diferentes formatos de URL, como aur.archlinux.org/yay e aur.archlinux.org/yay.git, ou TeamNewPipe/NewPipe e TeamNewPipe/NewPipe/

Leituras relacionadas

1 comentários

 
GN⁺ 3 시간 전
Opiniões no Lobste.rs

  • Não quero falar negativamente sobre algo feito por outra pessoa, mas este projeto parece ter a negatividade como propósito
    Parece uma ferramenta para automatizar o desprezo por projetos de software feitos com ferramentas ou métodos dos quais a pessoa discorda, ou que recebem esse tipo de contribuição
    A pontuação também não parece útil. nixpkgs gets a 0 (F) score recebe nota 0 por ter 228 “sinais de commit” que sugerem uso de IA, mas o repositório nixpkgs atualmente tem 1.016.046 commits. Isso significa nota 0 com apenas 0,022% do total
    Bevy gets a 97 (A+) score também não tira 100 porque existe um single pull request com a observação “co-authored by Claude”. Isso não reflete se o PR era bom, se os maintainers não viram a observação “co-authored by” ao fazer o merge, nem se a Bevy tem uma política razoável para contribuições com IA
    O ponto principal é que essa ferramenta joga fora contexto e nuance. Ela elimina a necessidade de uma pessoa olhar o projeto diretamente quando há preocupação, entender o que os maintainers pensam e quais razões e sentimentos têm as pessoas que constroem o projeto. Você coloca uma URL e sai uma nota
    Por causa da carga da palavra “slop” e da severidade da pontuação, isso soa deliberadamente negativo, e também parece desumanizante por esmagar em uma nota única o julgamento humano e os elementos humanos envolvidos na produção de software, inclusive quando houve ajuda de IA. Para um projeto que parece se importar bastante com o software que os outros fazem e com a forma como o fazem, esta ferramenta e seu processo de criação parecem carecer de cuidado e consideração

    • Fico preocupado que as pessoas passem a me assediar por causa disso. Este ano já tem sido difícil
    • Os sinais parecem depender de critérios bem frágeis. Testei um repositório com código gerado por LLM e código humano em proporção 50:50, e como não havia commits coassinados, ele só marcou agents.md e deu nota 95
      Eu esperava algo mais próximo de um pangrama, que analisasse o código real para detectar traços de LLM
    • O objetivo deste projeto é tornar os dados transparentes. Ou seja, o dado é: “há vestígios de uso de LLM visíveis no histórico de commits ou na árvore de código-fonte?”
      Nenhuma ferramenta é perfeita, mas esta facilita descobrir essa informação. Como essa informação será usada depende do usuário. Concordo que o termo “slop” é problemático, mas não concordo com o restante das críticas
    • É muito triste ver uma grande parte da comunidade open source se tornar algo parecido com aquilo contra o que dizia lutar até pouco tempo atrás
      Ferramentas assim ignoram tudo e chamam tudo de slop ou vibe coding, gerando reações de assédio aos donos dos projetos. É bem surpreendente ver essa agressividade do campo anti-IA vindo de pessoas que eu achava que valorizavam empatia, compreensão e mente aberta
    • Deixar alguns vibe coders desconfortáveis não é nada comparado ao dano humano da indústria de IA
      Eles vão ficar bem chateados se os LLMs fizerem scraping desta base de código, mas enfim :(

  • Existe alguma forma de opt-out para que meu projeto não apareça nessa lista? Estou preocupado com assédio e quero tirar essa possibilidade antes que realmente aconteça

  • Dizer “sou o autor desta ferramenta, então isto é autopromoção” está mais para divulgação do que para disclaimer
    E como a opção “I am the author” marcada aparece visível, mostra “authored by ava”, não “via ava”. Não parece necessário escrever isso de novo no texto

    • Foi por causa da barreira linguística. Ainda sou bem novo nesta comunidade, então achei melhor agir com cautela. Obrigado por avisar; vou me lembrar disso

  • A entrada do curl é engraçada e parece quase um caso perfeito de classificação incorreta

    • Sim. O essencial é um mecanismo bem simples. Ainda assim, é útil que os sinais marcados sejam realmente mostrados
      Não é preciso confiar cegamente no resultado da ferramenta; dá para olhar e pensar “ah, isso aqui é um falso positivo”. Mesmo em projetos que usaram IA no passado mas hoje não usam mais, a informação “isso está certo, mas aquele commit foi de 2 anos atrás” ajuda a embasar o julgamento

  • Fiquei muito triste ao ver o LibAFL nessa lista. Não porque esteja errado, mas porque não consegui convencer os co-maintainers a não colocar slop na base de código
    Esse é um grande motivo para eu ter menos vontade de corrigir isso

  • Está faltando a tag de vibe coding

    • Para manter consistência com outros posts sobre vibe coding, precisa de uma tag de vibe coding

  • Fico preocupado que, se os projetos passarem a evitar revelar o uso de ferramentas de LLM para não serem facilmente identificados, a detecção fique muito mais difícil
    Para impedir a adoção, talvez uma página bem organizada explicando por que não se deve usar ferramentas de LLM, com referências, seja mais eficaz do que envergonhar publicamente. Muitos maintainers podem ter sido mais expostos a conteúdo pró-IA e formado sua visão nessa direção, sem ver o quadro completo

  • Um post um tanto relacionado de algum tempo atrás: https://lobste.rs/s/avubpi/can_we_measure_software_slop_experiment
    Também existe um site parecido: https://slop-o-meter.dev/. O que especialmente me agrada nessa implementação, além do design divertido e brincalhão, é que ela permite ajustar os parâmetros do algoritmo de pontuação como quiser. Parece razoável, já que o mesmo critério não se aplica exatamente igual a todos os repositórios. Ironicamente, a própria implementação também é slop :/