Bots, bots demais

Bots, bots demais

Começo

• O ProductHunt tem mais de 1 milhão de usuários cadastrados
• Mais de 60% deles são bots

Como isso começou

• Uso o ProductHunt desde 2014
• Recentemente, a maioria dos comentários parece ter sido gerada pelo ChatGPT

Um teste simples

• Lançei um produto após injetar um prompt de LLM na descrição do produto
• Confirmei que quase todos os comentários eram automatizados

Dá para diferenciar bots?

• Responder a comentários é perda de tempo
• Se muitos bots estão comentando, provavelmente também estão dando upvote
• Também há pessoas que pagam para comprar upvotes

Análise de dados

• Analisei as listas de usuários, lançamentos, upvotes e comentários do ProductHunt
• Há mais de 1 milhão de usuários cadastrados, mais de 300 mil lançamentos, 2,5 milhões de comentários e 20 milhões de upvotes
• Cada produto tem um ranking diário, que corresponde à pontuação 24 horas depois, à meia-noite no horário PDT

Detecção de contas de bot

• Detectar bots é difícil
• Tentei encontrar tendências analisando os horários dos comentários dos usuários
• Por exemplo, um usuário se cadastrou há 677 dias, comentou 2.009 vezes e deu 4.649 upvotes
• Isso usa automação, mas não é um bot
• Um usuário bot se cadastrou há 140 dias, comentou 173 vezes e deu 246 upvotes
• Comentários de bot aparecem em intervalos regulares, e o gráfico fica em blocos, não suave
• Atribuí uma pontuação de risco aos usuários com base em vários critérios
• Comentários gerados pelo ChatGPT usam com mais frequência palavras como "game-changer"
• Comentários de bot incluem caracteres ou nomes de produtos que não são fáceis de digitar
• O clustering funciona até certo ponto, mas muitas contas de bot são descartadas após o uso
• No fim, detectei que mais de 60% dos usuários cadastrados eram contas automatizadas de bot

Evolução da atividade dos bots ao longo do tempo

• Desde 2018, mais usuários bot foram criados do que usuários reais
• A partir do fim de 2022, os comentários de bots dispararam
• Em 2022, os upvotes de bots também superaram os upvotes reais
• Bots formam anéis de votação, e criadores compram upvotes
• A maioria dos produtos lançados recebe apenas alguns poucos upvotes reais
• Para ficar em 1º lugar no ranking diário, é preciso 15% de upvotes de bots
• Mais de 60% dos upvotes de bots não conseguem colocar um produto em 1º lugar

Considerações finais

• Eu queria criar uma lista de lançamentos sem upvotes de bots, mas por falta de tempo deixei isso para o próximo post do blog

Resumo do GN⁺

• Mais de 60% dos usuários do ProductHunt são contas de bot
• Comentários e upvotes de bots distorcem a atividade dos usuários reais
• Detectar bots é difícil, mas é possível atribuir pontuações de risco com base em vários critérios para identificá-los
• Com o aumento da atividade de bots, a confiabilidade do ProductHunt pode estar caindo
• Outro produto com função semelhante é o Hacker News

[GN⁺]

Opiniões do Hacker News

• Há um problema em análises que começam com uma classificação arbitrária sobre se o usuário é ou não um bot. Se essa classificação estiver errada, toda a análise estará errada

  • Por exemplo, no fim de 2022 houve um grande aumento nos comentários de bots. Isso coincide com o período em que o ChatGPT começou a ser amplamente usado
  • Comentários gerados pelo ChatGPT usam com frequência palavras como "game-changer". Comentários de bots incluem sem alterações caracteres ou nomes de produtos que não são fáceis de digitar
  • Portanto, usuários que agem como o ChatGPT são classificados como bots, e supõe-se que esse tipo de usuário aumentou após o lançamento do ChatGPT. Mas também é possível que já existissem muitos bots antes

• Fico curioso se o ProductHunt usa alguma solução de CAPTCHA

  • CAPTCHA ainda é útil para bloquear ataques de spam
  • As críticas mais comuns são problemas de usabilidade, acessibilidade e privacidade. Os usuários não gostam
  • Nos últimos anos surgiram CAPTCHAs que funcionam sem exigir entrada do usuário e preservam a privacidade
  • Bots avançados conseguem contornar CAPTCHA com facilidade. Ainda assim, técnicas tradicionais também são úteis para bloquear bots mais simples. Bots avançados podem ser combatidos com tecnologias mais sofisticadas, como ML
  • CAPTCHA não funciona contra ataques que usam humanos de verdade. Para isso, são necessários outros mecanismos

• Quando publiquei um produto no ProductHunt há 5 anos, recebi dezenas de mensagens garantindo o primeiro lugar. Provavelmente agora está ainda pior

• Fico me perguntando quem está no ProductHunt. Clientes? Provavelmente não. Indiehackers? Talvez. Para quem se está vendendo e se vale a pena lançar no ProductHunt é uma dúvida

• Dá para ver bem o esforço e o resultado de alguém que conheço pessoalmente. Bom trabalho

• Isso é um avanço da "teoria da internet morta". Para garantir interações genuínas, é necessário ter uma identidade forte e confiável, com consequências em caso de abuso

  • Essa identidade precisa ser implementada pelo governo. As grandes empresas de tecnologia ainda não resolveram isso, e é duvidoso que tenham vontade de resolver
  • Por exemplo, se o Google reprimisse isso de forma séria e 60-80% do tráfego do YouTube fosse gerado por bots, a receita desapareceria

• Há alguns posts no Reddit em que, de vez em quando, bots baseados em GPT deixam comentários como "assunto? Uau! Isso realmente faz pensar, fico me perguntando por que isso é importante"

  • Talvez o próprio Reddit esteja operando bots assim para incentivar engajamento

• Muitas pessoas não vão perceber que estão conversando com GenAI

  • Já é um problema quando a mesma pessoa conversa por várias contas fingindo ser pessoas diferentes. A GenAI permite manipular narrativas de forma barata por meio de bots
  • É um problema de todas as redes sociais. Verificar se alguém é humano é a única solução
  • Estou construindo uma rede social em que apenas humanos reais podem dar upvote/downvote e comentar

• Tenho uma conta no X com 1 ano de idade e nunca comentei nada. Mesmo assim, 35 mulheres atraentes me seguem. Não há homens nem mulheres não atraentes. Isso não é por causa do charme dos meus likes

  • Isso é um microcosmo da web inteira

• Alguém deveria vender uma camiseta "me good LLM"