A realidade da economia de estrelas falsas no GitHub

• O ecossistema de compra e venda de Stars no GitHub se formou em sites dedicados, plataformas de freelancers, redes de troca e canais privados, e uma análise de 2019 a 2024 identificou cerca de 6 milhões de estrelas falsas suspeitas distribuídas por 18.617 repositórios e cerca de 301 mil contas
• Em 2024, as campanhas de estrelas falsas dispararam, e foi calculado que 16,66% dos repositórios com 50 estrelas ou mais estavam relacionados ao fenômeno; estrelas compradas também foram efetivamente usadas para aparecer no GitHub Trending e driblar os algoritmos de descoberta da plataforma
• A venda de estrelas falsas é negociada na faixa de US$ 0,03 a US$ 0,90 por estrela, dependendo da qualidade da conta e da forma de entrega, e a infraestrutura se expandiu para incluir ferramentas de manipulação do gráfico de contribuições, venda de perfis pré-fabricados, garantia de reposição e até API de compra
• O número de estrelas no GitHub está diretamente ligado a métricas de captação de investimento e é usado como referência nas fases seed e Series A, criando um ciclo de reforço em que a compra barata de estrelas leva a uma percepção inflada de traction e à captação de recursos
• A proporção de estrelas em relação a forks e a proporção de estrelas em relação a watchers são apresentadas como um filtro inicial para detectar manipulação e, apesar da proibição nas políticas do GitHub e da aplicação das regras da FTC, a repressão a contas ainda é menor do que a remoção de repositórios, e uma resposta estrutural ainda não foi implementada

---

6 milhões de estrelas falsas

• Na análise StarScout de pesquisadores da Carnegie Mellon University, North Carolina State University e Socket, que examinou 20 TB de metadados do GitHub, 6,7 bilhões de eventos e 326 milhões de estrelas entre 2019 e 2024, foram identificadas cerca de 6 milhões de estrelas falsas suspeitas distribuídas por 18.617 repositórios e cerca de 301 mil contas
• Em 2024, as campanhas de estrelas falsas aumentaram abruptamente e, em julho, foi calculado que 16,66% dos repositórios com 50 estrelas ou mais estavam relacionados
  • Antes de 2022, o nível era praticamente próximo de zero
• Na validação da precisão de detecção, também foi confirmado que 90,42% dos repositórios marcados pelo StarScout e 57,07% das contas haviam sido removidos até janeiro de 2025
  • Um número que reforça que o GitHub também reconheceu isso como atividade anormal
• Entre os repositórios beneficiados por estrelas falsas, os relacionados a AI e LLM apareceram como a maior categoria não maliciosa, com 177 mil estrelas falsas contabilizadas em números absolutos
  • O estudo cita que há muitos repositórios de artigos acadêmicos e produtos de startups ligados a LLM
• 78 repositórios com campanhas de estrelas falsas detectadas apareceram no GitHub Trending, mostrando que estrelas compradas foram realmente usadas para driblar os algoritmos de descoberta da plataforma
• Em uma investigação da Dagster, em março de 2023, engenheiros compraram estrelas diretamente de dois vendedores para verificar o fenômeno
  • A empresa registrada na Alemanha GitHub24 cobrou EUR 0.85 por estrela, e as 100 estrelas continuavam todas ativas um mês depois
  • A Baddhi Shop vendeu 1.000 estrelas por US$ 64, mas a taxa de retenção foi apresentada em torno de 75%

Marketplace

• O ecossistema de venda de estrelas do GitHub está espalhado por sites dedicados, plataformas de freelancers, redes de troca e canais privados, com pelo menos 12 sites ativos ou mais vendendo diretamente estrelas do GitHub
  • SocialPlug.io, Buy.fans, Boost-Like.store, GitHubPromoter.com, Followdeh.com e Vurike.com são listados como exemplos
• A faixa de preço varia conforme a qualidade da conta e a forma de entrega
  • A faixa de baixo custo fica entre US$ 0,03 e US$ 0,10 por estrela, com entrega em alguns dias e uso de perfis novos ou vazios
  • A faixa intermediária vai de US$ 0,20 a US$ 0,50, com entrega em 1 a 2 semanas e algum histórico de atividade
  • A faixa premium vai de US$ 0,80 a US$ 0,90, prometendo entrega gradual e natural, com contas de vários anos e histórico de repositórios e contribuições
• No Fiverr, 24 gigs ativos também vendem promoção no GitHub; estrelas e forks básicos custam US$ 5, enquanto a "organic promotion" custa US$ 25 ou mais
  • São usadas expressões brandas ou indiretas para escapar dos filtros da plataforma
• Plataformas de troca de estrelas como GithubStarMate.com e SafeStarExchange.com também estão em operação, oferecendo um modelo mútuo de estrelas baseado em créditos
• A infraestrutura não se limita à venda de estrelas e se expandiu para a manipulação do gráfico de contribuições do GitHub
  • Pelo menos 7 ferramentas open source, como fake-git-history, commit-bot e Commiter, existem com o objetivo de falsificar o histórico de contribuições no GitHub
  • Um perfil de GitHub pré-fabricado com 5 anos de histórico de commits e o badge Arctic Code Vault Contributor é vendido no Telegram por cerca de US$ 5.000
• Alguns vendedores chegam a oferecer garantia de reposição
  • O Followdeh anuncia garantia de 30 dias
  • Serviços premium prometem estrelas "non-drop" que passam pela detecção do GitHub
  • A SocialPlug afirma ter entregue 3,1 milhões de estrelas a mais de 53 mil clientes e também oferece API de compra
• Um estudo da Tsinghua University apresentado na ACSAC 2020 documentou a estrutura comercial de grupos de promoção no QQ e WeChat, da China
  • Mais de 1.020 membros processam cerca de 20 repositórios por dia
  • O lucro dos promotores foi estimado entre US$ 3,4 milhões e US$ 4,4 milhões por ano

Análise própria: características de stargazers falsos

• Foi criada uma ferramenta de análise baseada na API do GitHub para investigar 20 repositórios, comparando repositórios marcados pelo StarScout, repositórios de IA de alto crescimento do Runa Capital ROSS Index e repositórios com linha de base orgânica
• Em cada repositório, foram amostrados 150 perfis de stargazers para medir idade da conta, número de repositórios públicos, número de seguidores e presença de biografia
• Indícios de manipulação apareceram repetidamente em alguns indicadores comuns
  • Mesmo quando as contas não eram muito novas, a proporção de contas vazias era alta
  • As razões entre estrelas e forks e entre estrelas e watchers eram muito menores do que em repositórios orgânicos

• Linha de base orgânica

  • As idades medianas das contas de Flask, LangChain e AutoGPT foram apresentadas como 4801 dias, 2967 dias e 4022 dias, respectivamente, mostrando que grande parte dos stargazers era formada por desenvolvedores que usam o GitHub há muito tempo
  • A proporção de contas sem nenhum repositório público ficou em 5,3%, 5,9% e 2,0%, e a proporção de contas com 0 seguidores também foi baixa, em 10,0%, 11,8% e 5,9%
  • A proporção de contas fantasma no Flask foi de 1,3%, e a proporção de suspicious accounts em Flask, LangChain e AutoGPT foi apresentada como 0,0%
  • A razão estrelas/forks foi de 0,235 no Flask, 0,155 no LangChain e 0,090 no AutoGPT, indicando que o uso e a modificação reais do código acompanham as estrelas em certo nível
  • A razão estrelas/watchers foi de 0,029 no Flask, 0,006 no LangChain e 0,005 no AutoGPT
  • Os stargazers de repositórios orgânicos haviam atuado por anos, possuíam projetos próprios e tinham características de desenvolvedores que seguem outros usuários
  • As contas fantasma com 0 repositórios, 0 seguidores e sem biografia foram apresentadas como cerca de 1% em projetos saudáveis

• Repositórios de blockchain manipulados

  • As idades medianas das contas de Union Labs, Shardeum, FreeDomain e Anoma ficaram na faixa de 997 a 1180 dias, o suficiente para passar por um filtro simples de contas novas
  • Porém, por dentro as contas estavam vazias, com proporções de 0 repositórios públicos entre 28,0% e 38,0%, de 0 seguidores entre 52,0% e 81,3% e de contas fantasma entre 19,3% e 28,7%
  • A razão estrelas/forks foi apresentada como 0,052 para Union Labs, 0,022 para Shardeum, 0,017 para FreeDomain e 0,121 para Anoma
  • A razão estrelas/watchers também foi muito baixa, como 0,001 no FreeDomain
  • O padrão é interpretado como compra de contas antigas ou obtenção em fazendas de contas para uso em campanhas de estrelas
  • A razão estrelas/forks é apresentada como o sinal mais forte
    • Flask tem 235 forks a cada 1000 estrelas
    • Shardeum tem 22
    • FreeDomain tem 17
  • A razão estrelas/watchers aponta na mesma direção, e o 0,001 do FreeDomain significa que há cerca de 1 usuário acompanhando atualizações reais a cada 1000 estrelas

• FreeDomain

  • Tem 157 mil estrelas, mas apenas 168 watchers e 2676 forks
  • A razão estrelas/watchers é 26 vezes menor que a do Flask
  • Entre os stargazers amostrados, 81,3% tinham 0 seguidores, revelando uma composição de contas quase sem base visível de atividade no GitHub

• Union Labs

  • Foi escolhida como 1º lugar no Runa Capital ROSS Index no 2º trimestre de 2025, com crescimento de estrelas de 54,2 vezes e 74,3 mil estrelas
  • Na análise própria, foram identificadas 32,7% de contas com 0 repositórios públicos, 52% de contas com 0 seguidores e razão estrelas/forks de 0,052
  • Na análise do StarScout, apareceu com 47,4% de estrelas suspeitas de serem falsas
  • Isso mostra uma estrutura em que um projeto com possibilidade de ter quase metade das estrelas artificiais ficou no topo de um relatório influente de prospecção de investimentos usado por VCs

• Setor de IA

  • Na comparação entre RagaAI, openai-fm, Langflow e hermes-agent, as métricas variaram bastante até mesmo dentro dos repositórios de IA
  • RagaAI-Catalyst registrou 76,2% de contas com 0 seguidores e 28,0% de contas fantasma, números quase idênticos ao padrão de blockchain
  • openai-fm foi apresentado como o caso mais extremo de todo o conjunto de dados
    • suspicious accounts 66,0%
    • contas fantasma 36,0%
    • idade mediana da conta 116 dias
    • dois terços dos stargazers tinham menos de 1 ano e quase nenhuma atividade no GitHub
    • No StarScout, foi mencionado que este caso provavelmente envolve bots de terceiros, e não a própria OpenAI
  • Langflow foi marcado pelo StarScout como 47,9% falso, mas na análise de amostra dos perfis apresentou números relativamente limpos, com idade mediana de 2859 dias e baixa proporção de contas fantasma
    • Levanta-se a possibilidade de que a qualidade das contas tenha melhorado após a varredura do StarScout
    • Ainda assim, a razão estrelas/forks de 0,060 continua baixa, cerca de um quarto da do Flask
  • hermes-agent, da NousResearch, foi classificado como um repositório relativamente orgânico
    • idade mediana da conta de 8 anos
    • 6% de contas fantasma
    • razão estrelas/forks de 0,133
    • independentemente das acusações de astroturfing no Reddit, a maioria dos stargazers foi analisada como desenvolvedores reais
    • Por causa de uma base de usuários próxima ao universo cripto, a proporção de contas com 0 seguidores é um pouco alta, mas o padrão básico de engajamento foi considerado legítimo

Como as estrelas viram dinheiro

• A ligação entre número de estrelas no GitHub e captação de recursos por startups é apresentada não como especulação, mas como uma relação documentada pelos próprios investidores
• Jordan Segall, da Redpoint Ventures, analisou 80 empresas de ferramentas para desenvolvedores e constatou que a mediana de estrelas no investimento seed era de 2850, e na Series A era de 4980
  • Ele menciona diretamente que muitos VCs operam programas internos de scraping para encontrar projetos do GitHub em rápido crescimento, e que a métrica mais observada costuma ser o número de estrelas
• Esses números fornecem às startups uma meta prática de compra
  • Considerando estrelas baratas, com US$ 85 a US$ 285 seria possível manipular a mediana seed de 2850
  • Com US$ 990 a US$ 4500, seria possível alcançar a faixa de Series A
  • Com base em uma rodada seed comum de US$ 1 milhão a US$ 10 milhões, calcula-se uma faixa de ROI de 3500x a 117 milx
• A Runa Capital publica trimestralmente o ROSS Index, que ranqueia as 20 startups open source com maior crescimento de estrelas no GitHub
  • Segundo o TechCrunch, 68% das startups que captaram investimento estavam em estágio seed, e o total das rodadas rastreadas foi de US$ 169 milhões
• O GitHub também investe US$ 10 milhões por ano por meio do GitHub Fund, em parceria com a M12, aplicando recursos em 8 a 10 empresas open source em estágio pre-seed e seed com base, em parte, na traction da plataforma
• São listados vários casos em que estrelas levaram à captação
  • Lovable: mais de 50 mil estrelas, pre-seed de US$ 7,5 milhões e, com equipe de 45 pessoas, Series A de US$ 200 milhões a uma avaliação de US$ 1,8 bilhão

  • Pangolin**: 1000 estrelas em janeiro de 2025, aceito pela Y Combinator, e até agosto de 2025** US$ 4,7 milhões em seed

  • Browser-use**: 50 mil estrelas em 3 meses, Y Combinator W25,** seed de US$ 17 milhões

    • LangChain: investimento seed de US$ 10 milhões da Benchmark
    • Fraser Marlow, da Dagster, também mencionou diretamente que dedicou bastante atenção às estrelas no GitHub logo antes do fundraising
    • Um artigo da Organization Science apresentou estatisticamente a correlação entre atividade no GitHub e resultados de captação de startups
    • Startups ativas no GitHub tinham uma probabilidade 15 pontos percentuais maior de levantar uma rodada de investimento
    • O resultado é a formação de um ciclo de autorreforço de VCs rastreando estrelas → startups manipulando → percepção inflada de traction → mais adoção por VCs → mais manipulação
    • Os critérios públicos da Redpoint revelam uma estrutura que fornece às startups metas numéricas exatas

Proporção entre forks e stars: uma heurística simples de detecção

• Na análise própria, a proporção entre forks e stars apareceu como o indicador simples mais forte para identificar possível manipulação
• A lógica é simples
  • É possível dar star sem custo, e isso não significa comprometimento real
  • Um fork indica que o código foi baixado para uso ou modificação
• As médias da proporção entre forks e stars por categoria são apresentadas assim
  • 3 repositórios de referência orgânica: 0.160
  • 5 repositórios de ferramentas de IA: 0.124
  • 4 repositórios do grupo de blockchain sob suspeita de manipulação: 0.053
  • 2 repositórios de casos extremos: 0.020
• É proposto o critério de que repositórios com mais de 10 mil stars e proporção entre forks e stars abaixo de 0,05 precisam de revisão cuidadosa
• A proporção entre watchers e stars é apresentada como um sinal auxiliar mais intuitivo
  • Projetos orgânicos: média de 0.005 a 0.030
  • FreeDomain: 0.001
• Essa proporção não é um critério perfeito de classificação, e repositórios educacionais ou listas de curadoria podem naturalmente ter baixa proporção de forks
• Ainda assim, ela é considerada eficaz como filtro inicial para capturar os casos mais graves que passam despercebidos quando se olha apenas para o número bruto de stars

Popularidade falsa fora do GitHub

• O mesmo fenômeno se expande para toda plataforma em que métricas de popularidade afetam a confiança
• Números de downloads no npm podem ser inflados com muita facilidade
  • Andy Richardson elevou o pacote is-introspection-query para quase 1 milhão de downloads por semana usando apenas o tier gratuito de uma única função AWS Lambda
  • O número superava pacotes legítimos como urql e mobx, mas o total de usuários reais foi apresentado como zero
  • Em um estudo da CMU, entre os repositórios com campanhas de stars falsas, apenas 1,23% apareciam em registries de pacotes, mas, entre esses 738 pacotes, 70,46% tinham zero projetos dependentes
• Extensões do VS Code Marketplace mostram a mesma vulnerabilidade
  • Pesquisadores comprovaram mais de 1000 instalações de extensões falsas em 48 horas
  • A AquaSec encontrou 1283 extensões com dependências maliciosas conhecidas, somando 229 milhões de instalações
• Promoção no X/Twitter amplia a viralização artificial no GitHub
  • Em grupos privados chamados engagement pods, membros trocam curtidas, reposts e comentários entre si
  • A Growth Terminal vende isso como funcionalidade de produto
  • A NBC News e pesquisadores da Clemson University identificaram uma rede de 686 contas no X que publicou mais de 130 mil vezes com conteúdo gerado por LLM
  • Algumas postagens incluíam expressões como "Dolphin here!", traço do modelo usado
• No caso da Higgsfield AI, o astroturfing entre plataformas foi documentado em larga escala
  • Mais de 100 posts de spam em mais de 60 subreddits
  • Combinados com envios em massa de DMs em formato de template oferecendo pagamento a criadores de conteúdo por divulgação

Exposição legal quase nunca mencionada

• A FTC Consumer Review Rule entra em vigor em 21 de outubro de 2024 e proíbe explicitamente a compra e venda de "métricas falsas de influência em redes sociais" baseadas em bots e contas falsas para fins comerciais
• As sanções por violação são apresentadas como de até US$ 53.088 por ocorrência
• A FTC enviou as primeiras cartas de advertência a 10 empresas em 2025, e o texto afirma que a compra de stars no GitHub para promover produtos comerciais se enquadra nesse arcabouço
• Precedentes da SEC também são apresentados como casos ainda mais diretos
  • O CEO da HeadSpin foi acusado de fraude eletrônica e fraude de valores mobiliários por supostamente inflar métricas e obter US$ 80 milhões de investidores
  • A fundadora da ComplYant enfrenta acusação por supostamente alegar receita mensal de US$ 250 mil quando o valor real era US$ 250
• A SEC transmite a mensagem de que arrecadadores de startups não podem usar a cultura do "fake it until you make it" para enganar investidores
• O texto conecta isso à possibilidade de aplicação do arcabouço de fraude eletrônica se uma startup inflar sua traction com stars falsas no GitHub durante a captação, e investidores aplicarem capital com base nessa métrica, configurando falsa representação de fato material por meio de comunicações eletrônicas
• Ainda não há caso de acusação com base apenas em stars falsas no GitHub, mas, considerando a comprovação em larga escala do estudo da CMU e a proibição explícita da regra da FTC, a avaliação é que pode ser apenas uma questão de tempo

A resposta do GitHub

• As Acceptable Use Policies do GitHub proíbem explicitamente interações inautênticas, contas falsas e atividade automatizada inautêntica, abuso de ranqueamento como stars e follows automatizados, e participação em mercados secundários voltados a ampliar atividade inautêntica
• Stars induzidas por recompensas como airdrops de criptomoedas, tokens, créditos e brindes também entram na lista de práticas proibidas pela política
• A aplicação é avaliada como reativa e assimétrica
  • Dos repositórios sinalizados pela StarScout, 90,42% foram removidos, mas apenas 57,07% das contas que forneceram essas stars foram excluídas
  • Boa parte da infraestrutura de contas que pode ser usada em campanhas futuras continua existindo
• Na investigação da Dagster, perfis de stars falsas também foram removidos em 48 horas, mas isso é apresentado como resposta após exposição pública, não como caso de detecção prévia
• O GitHub nunca publicou um post de blog de engenharia tratando de como detecta manipulação de stars ou de estatísticas de aplicação, e também não há relatório de transparência separado
• O vice-presidente de operações de segurança do GitHub respondeu à Wired apenas que desativou contas conforme a política, recusando-se a dar mais explicações
  • Porém, a fala é explicitamente descrita como comentário sobre a operação de malware Stargazers Ghost Network, e não sobre manipulação de vanity metrics
• Pesquisadores da CMU recomendam a adoção de uma métrica de popularidade ponderada baseada em centralidade de rede, em vez do número bruto de stars
  • A mudança é apresentada como algo que poderia enfraquecer estruturalmente a economia de stars falsas
• O GitHub ainda não implementou essa recomendação

Métricas que os VCs deveriam observar no lugar

• A Bessemer Venture Partners chama stars de vanity metrics e, em vez disso, acompanha a atividade mensal de contribuidores únicos
  • Incluindo quem abre issues, comenta, faz PRs e commits
  • Entre os 10 mil principais projetos, menos de 5% superaram 250 contribuidores mensais
  • Apenas 2% mantiveram esse nível por 6 meses seguidos
• Jono Bacon, da StateShift, recomenda 5 métricas com correlação com adoção real
  • Número de downloads do pacote
  • Qualidade das issues, nas quais aparecem edge cases de produção de usuários reais
  • Retenção de contribuidores, medida pelo tempo até o segundo PR
  • Profundidade das discussões na comunidade
  • Telemetria de uso
• A proporção entre forks e stars observada na análise própria é apresentada como o filtro inicial mais simples
  • Projetos saudáveis têm, em geral, de 100 a 200 forks para cada 1000 stars
  • Se o total absoluto de stars for alto, mas houver menos de 50 forks por 1000 stars, é preciso verificação adicional
• Como citação, o texto apresenta a frase: "Você pode fraudar a contagem de stars, mas não uma correção de bug que salvou o fim de semana de alguém"

Problemas estruturais

• São apresentadas três dinâmicas para explicar por que a economia de estrelas falsas se auto-reforça

• Loop de incentivos

  • VCs usam estrelas como sinal para prospecção
  • Startups manipulam estrelas
  • VCs verificam traction inflada
  • Mais VCs passam a adotar o rastreamento de estrelas
  • Forma-se uma estrutura cíclica em que mais startups entram na manipulação
  • O benchmark público da Redpoint, 2.850 no seed e 4.980 no Series A, na prática passa a funcionar como uma tabela de quantidade para compra

• Vulnerabilidade do setor de IA

  • O excesso de euforia, uma estrutura de financiamento adjacente a cripto que recompensa o preço do token acima da qualidade do produto, e um ecossistema de reviewers no X/Twitter misturado com personas manipuladas se combinam para criar um ambiente favorável à confiança fabricada
  • Na própria análise, muitos dos repositórios com os piores sinais de manipulação foram identificados como projetos de IA adjacentes a blockchain e criptomoedas

• Assimetria na fiscalização do GitHub

  • A estrutura de remover repositórios enquanto mantém 57% das contas falsas preserva a força de trabalho da economia de estrelas falsas
  • O efeito dissuasório contra violações repetidas é fraco
  • Conclui-se que, a menos que o GitHub introduza mudanças estruturais como métricas de popularidade ponderadas, pontuações de reputação em nível de conta e relatórios transparentes de fiscalização, a diferença entre o número de estrelas e a adoção real por desenvolvedores continuará a aumentar
  • A economia de estrelas falsas é resumida como uma estrutura em que um problema de 50 dólares produz um resultado de 50 milhões de dólares
  • O texto termina com a frase de que, até que plataformas, investidores e órgãos reguladores consigam alcançá-la, o mercado continuará pagando esses 50 dólares

[pdpatgtpmdt2843]

Os golpistas do oh-my-claudecode e do claw-code kkk

[savvykang]

A SKT era uma empresa bem avançada, pelo visto.

[guarder]

Eu também me lembrei desse caso. Já faz 7 anos.

[ndrgrd]

Pessoalmente, considero estrelas como um piso mínimo e não as uso, por si só, como critério de julgamento.
Projetos com menos de 100 estrelas me parecem mais suspeitos e eu os examino com mais cuidado, mas também não confio automaticamente em um projeto só porque ele passou de 50 mil estrelas.

[shakespeares]

É a postura correta.

[edunga1]

Gostei da abordagem baseada em stargazers.
Hoje em dia há muitos repositórios em que até 10 mil ou 100 mil estrelas já não passam confiança, então seria bom se o GitHub respondesse rapidamente.

[GN⁺]

Comentários no Hacker News

• Não entra na minha cabeça que VC tome decisões reais de investimento com base em pontuações imaginárias da internet como GitHub stars. Parece como se um time da NFL escolhesse um quarterback pelo número de seguidores no Instagram em vez da taxa de passes completos. Até olhando o histórico do Cleveland Browns, parece mais piada do que uma estratégia séria para ganhar campeonato. Isso faz pensar se é preguiça dos VCs ou efeito colateral de um ambiente como o ZIRP, em que havia dinheiro demais circulando. Se alguém dissesse que vai investir meu dinheiro usando stars como critério, eu primeiro riria e logo depois ficaria sério
• Quase nunca olhei para stars ao escolher uma biblioteca, e nem entendo muito por que olhar. Eu vejo quando foi o commit mais recente, a idade do projeto, como as issues são tratadas e um pouco da qualidade do código. No fim, stars são só um resultado indireto desses indicadores concretos, ou fraude, então sem olhar diretamente isso não significa muita coisa. Desde sempre tratei stars como um “favorito para ver depois”, e me surpreendeu ver isso virar métrica de qualidade. Queria que a FTC tratasse esse tipo de prática com mais firmeza. Até passar o olho no histórico de commits já mostra bem os tipos de mudança e a cadence, então é bastante útil
  • No ponto de que as pessoas acabam sendo atraídas por brilhos e enfeites, a analogia do Napoleão sobre glória, medalhas e recompensas moverem as pessoas parece perfeita
  • Mesmo que eu não olhe diretamente para stars, se o autor de uma dependência que eu uso é influenciado por esse número, isso continua sendo um problema
• Quando leio artigos assim, parece que bastaria ajustar um problema específico para resolver a situação, mas para mim o sistema inteiro está muito mais quebrado. O ponto central é que o próprio sinal virou mercadoria. Você cria um SaaS e aparecem jornalistas querendo cobrar para colocar você numa lista de “Top apps do ano”, gente prometendo aumentar seus seguidores sociais, e recrutadores dizendo que vão achar especialistas de nicho quando no fim só fazem scraping do LinkedIn e spam. Em contratação, já vi de verdade candidato sentado em uma fazenda de entrevistas do leste asiático, acessando com IP de Washington D.C., usando nome europeu, fundo sintético e fingindo dominar todas as tecnologias da vaga. Assim que surge uma métrica importante, surge logo um ecossistema para manipulá-la, e a manipulação passa a fazer parte normal da operação do negócio
  • No fim, tudo converge para ganhar mais dinheiro
  • No final das contas, é uma questão de a empresa escolher se vai comprar ou não métricas vazias. Nós também tentamos recentemente dificultar a atividade de bots de IA no nosso repositório, e esperamos que os bots migrem para startups que só buscam alvos relativamente fáceis, como neste texto
• Eu mantenho um site pequeno e defini de forma mais clara um padrão informal já existente, além de publicar na homepage uma lista de softwares e bibliotecas que seguem esse padrão. No começo eu aceitava quase tudo, mas conforme a lista ficou maior senti necessidade de um critério de notoriedade. Ao recusar uma biblioteca com poucos dias de vida, quase certamente gerada por IA e de baixa qualidade, mencionei também como preocupação o fato de ela ter “0 stars”, e o autor reagiu agressivamente perguntando quantas seriam necessárias. Não respondi. Stars são só um fator considerado, não o todo. O que importa é ter usuários reais e reconhecimento de verdade. Depois, outros desenvolvedores entraram na conversa dizendo para eu parar com critérios vagos e definir logo um corte de stars, mas estou deliberadamente evitando isso. No momento em que o número vira meta, ele deixa de funcionar como métrica. Também não quero expandir a página sem limite, e se eu colocasse só coisas com X ou mais stars até malware poderia entrar. Acima de tudo, quem entra na minha página sou eu que decido, então seria bom que não fossem grosseiros
  • Isso é exatamente um caso de Goodhart's law
• Ao ver a estrutura em que VC trata a popularidade no GitHub como prova de traction, fico com a sensação de que o grande capital está estragando tudo de novo. Aqui também a Goodhart's law se aplica perfeitamente. Quando quero avaliar rápido a qualidade de um repositório, olho para o estado de manutenção, a idade do projeto, a elegância da API e o histórico de commits. Como o artigo menciona, métricas como atividade mensal de contribuidores únicos, downloads do pacote, qualidade das issues que parecem de usuários reais, retenção até o segundo PR, profundidade das discussões da comunidade e telemetry de uso parecem muito mais próximas de uso real
  • No fim, eu simplesmente leio o código. Parece o mais direto
• Muita gente parece esperar que stars sejam um indicador barato e rápido de “software confiável, de boa qualidade e visto por muita gente”. Mas para mim isso fracassa completamente como proxy. Mesmo deixando de lado o astroturfing, stars não garantem popularidade nem qualidade. Aposto que várias bibliotecas básicas de sistema têm poucas stars. Quando dá para ler o próprio código, depender de stars parece sem sentido. Por isso eu costumo pular essa métrica e dar uma olhada no repositório para avaliar diretamente arquitetura e implementação, e fazendo isso já achei várias vezes que alternativas com menos stars eram melhores
  • Se houver 3 alternativas e cada uma tiver 100 mil LOC, dizer vamos ler o código não é tão simples na prática. No fim, precisa de algum indicador substituto. Stars não são confiáveis e por isso não ajudam muito, mas recomendação ou referral são melhores. Só que em áreas onde minha rede não tem conhecimento, a realidade é que às vezes eu acabo usando até um proxy fraco como stars
  • Antigamente a página de issues era bem boa para ver sinais de uso real. Dava para ver que tipo de problema as pessoas estavam enfrentando. Ainda funciona às vezes, mas piorou muito com a quantidade de lixo de agents
• Fico pensando se o GitHub não deveria usar uma pontuação baseada em grafo no estilo PageRank em vez de stars brutas. A ideia seria dar mais peso a stars ou forks feitos por usuários que mantêm repositórios importantes. O custo de computação seria maior, mas, se não estou deixando passar nada, isso pareceria bem mais confiável do que o sistema atual
  • Essa abordagem parece mesmo mais próxima de algo melhor. Ainda assim, se a estrutura colocar todos os usuários na matriz, continuo achando que haverá possibilidade de manipulação. Talvez fosse melhor usar um conjunto limitado, como trusted peers ou amigos de amigos, ou então sinais posteriores ao uso em vez de algo baseado só em likes
• O que realmente me deixa curioso é por que VC vê o sistema de stars como algo confiável. Quem dá star muitas vezes esquece do projeto logo depois, então projetos antigos e sem manutenção ainda podem acumular muitas stars. Mesmo não sendo ideal, ainda é melhor olhar o quanto as issues estão vivas, se abrem e fecham, se não estão sendo encerradas automaticamente e qual é o tempo de resposta. Meu projeto tem 200 stars, mas é realmente difícil manter atualizações significativas de forma constante além de simples bumps de versão
  • Stars são um caso clássico de métrica que virou objetivo, e por isso deixou de ser uma boa medida. E também sinto que outras métricas, como atividade em issues, podem ser manipuladas facilmente na era dos LLMs com abertura, fechamento e respostas automáticas
  • Essa história de VCs exigirem milhares de stars talvez seja uma visão ampla demais. Na prática, parece mais comum alguém pagar 20 dólares para deixar o projeto com uma aparência convincente para usar em currículo ou vanity, conseguir mais cliques no Reddit ou se destacar entre outros projetos open source. Se alguém estiver investindo só porque viu 8 mil ou 10 mil stars, sem olhar o projeto nem o potencial de receita, então é um investidor ignorante de verdade ou alguém no nível de escolher um projeto estudantil por verão. Contas falsas também dão stars nos meus repositórios antigos para parecerem usuários reais, e quando uma conta dá star em 5 mil projetos por mês sem qualquer outra atividade, isso aparece rápido. Antigamente eu também via anéis de GitHub Sponsor, e aquilo tinha muito cheiro de lavagem de dinheiro ou cartão roubado
  • O que eu procuro é um sinal de qualidade de software no longo prazo, mas o que VC procura é sinal de momentum e disparada no curto prazo. Os dois frequentemente entram em conflito
  • Aqui uma pontuação em grafo parecida com pagerank talvez também ajudasse um pouco. Se um repositório recebesse mais peso por ter muitas issues abertas por usuários de boa reputação, talvez ele ficasse um pouco mais resistente à manipulação simples
  • A menos que isso tenha mudado muito nos últimos 3 anos, sinto que o artigo exagera um pouco o quanto VCs acreditam em stars. Quando conversei com VCs 10 anos atrás, a maioria já tratava stars como métrica de vaidade e descartava isso
• Acho que o GitHub poderia reprimir isso com muita facilidade. Bastaria gastar 10 dólares com cada vendedor de stars, comprar diretamente e suspender todas as contas envolvidas. Com muito pouco dinheiro, daria para criar bastante atrito em todo esse ecossistema
• Como material relacionado, vale ver o post da Dagster de 2023, “Tracking the Fake GitHub Star Black Market with Dagster, dbt and BigQuery”, e o artigo no arXiv, “Six Million (Suspected) Fake Stars in GitHub: A Growing Spiral of Popularity Contests, Spams, and Malware”