Bots, bots demais

• O ProductHunt é uma plataforma de lançamento de produtos com mais de 1 milhão de usuários cadastrados, mas uma análise de dados públicos classificou mais de 60% desses usuários como contas de bots automatizados
• Ao lançar um produto próprio com uma injeção de prompt para LLM na descrição, ficou evidente que quase todos os comentários eram automatizados, e uma parcela considerável dos comentários recentes também parecia ter sido criada pelo ChatGPT
• Como é difícil determinar se uma conta é bot apenas com dados públicos, a identificação foi feita por meio de uma pontuação de risco que combina tempo de atividade, padrões de upvote, sobreposição com outros bots e conteúdo dos comentários
• Desde 2018, os cadastros de bots passaram a superar os de usuários reais e, em 2022, os upvotes de bots ultrapassaram os upvotes reais, aumentando a possibilidade de que anéis de votação influenciem o ranking
• Lançar no ProductHunt ainda pode gerar exposição, mas é mais realista preparar tudo rapidamente e não gastar tempo demais esperando respostas a comentários ou benefícios de SEO

---

Atividade de bots revelada no ProductHunt

• O ProductHunt vinha sendo útil desde o início de 2014 para acompanhar lançamentos dos produtos de tecnologia mais recentes, encontrar ferramentas semelhantes nos comentários ou coletar feedback sobre produtos próprios
• Recentemente, a maioria dos comentários em produtos parecia comentários gerados pelo ChatGPT, então foi feito um lançamento próprio com uma simples injeção de prompt para LLM na descrição do produto
• Depois do lançamento, quase todos os comentários pareceram automatizados, aumentando a dúvida sobre se responder a comentários no ProductHunt pode ser uma perda de tempo para quem lança produtos
• Continuam chegando e-mails oferecendo upvotes pagos, e há também no Reddit um relato de alguém que comprou upvotes do ProductHunt duas vezes

Dados públicos usados na análise

• Foram analisadas listas publicamente acessíveis de usuários, lançamentos, upvotes e comentários do ProductHunt
• O volume de dados foi o seguinte
  • Cadastros de usuários: mais de 1 milhão
  • Lançamentos: mais de 300 mil
  • Comentários: 2,5 milhões
  • Upvotes: 20 milhões
• Cada produto tem um ranking diário, que é a pontuação 24 horas após a meia-noite PDT da data de lançamento
  • O primeiro lugar tem daily rank 1
  • Alguns produtos têm rank null, possivelmente por exclusão, denúncia ou por não terem sido lançados

Como as contas de bots foram identificadas

• Como a detecção de bots é difícil usando apenas dados públicos, um único critério não era suficiente
• No início, tentou-se encontrar tendências analisando os horários dos comentários dos usuários
  • Um usuário tinha 677 dias de conta, 2.009 comentários e 4.649 upvotes, parecendo ser um power user que usava automação, mas não foi classificado como bot
  • Outro usuário tinha 140 dias de conta, 173 comentários e 246 upvotes; os intervalos entre comentários eram regulares, e o gráfico não parecia suave, mas sim em blocos
• No fim, vários sinais foram combinados para atribuir uma pontuação de risco a cada usuário
  • Tempo de atividade da conta
  • Padrão de upvotes ao longo do tempo
  • Número de upvotes compartilhados com outros bots
  • Conteúdo dos comentários
• Em comentários gerados pelo ChatGPT, palavras como game-changer aparecem com mais frequência
• Em comentários de bots, havia casos de caracteres difíceis de digitar normalmente, como em dash, ou de nomes de produtos muito longos ou contendo ™ copiados integralmente
• Algumas contas de bots usavam exatamente o nome e a bio do LinkedIn de pessoas reais, mas essas pessoas responderam que nunca haviam criado uma conta no ProductHunt
• O clustering teve algum efeito, mas muitas contas de bots eram descartadas depois do uso, então muitas vezes apenas um dos vários votos aleatórios se sobrepunha ao de outros bots
  • Como cupy e cudf não tinham implementados os métodos necessários na GPU, o clustering foi executado apenas em conjuntos de dados pequenos
  • Se alguém com mais experiência abordar o problema, a detecção de bots pode melhorar
• Como resultado da análise, mais de 60% dos cadastros de usuários foram detectados como contas de bots automatizados
  • É um número conservador, pois nem todos os bots foram capturados
  • Com dados internos do ProductHunt, seria mais fácil identificar a atividade de bots com mais precisão

Mudanças na atividade de bots ao longo do tempo

• Cadastros de usuários

  • Desde 2018, mais usuários bots do que usuários reais vêm sendo criados

• Comentários

  • A partir do fim de 2022, os comentários de bots aumentaram muito
  • Esse período é parecido com o momento em que o ChatGPT se tornou amplamente disponível
  • O pico em 2024 pode ocorrer porque contas de bots são excluídas com o passar do tempo
  • Contas mais recentes provavelmente ainda não foram excluídas, o que facilita o acesso aos comentários

• Upvotes

  • Em 2022, os upvotes de bots ultrapassaram os upvotes de usuários reais
  • Os bots formam anéis de votação para aumentar a chance de entrar na newsletter do ProductHunt

• Ranking

  • A maioria dos lançamentos recebe apenas alguns upvotes reais
  • Como os bots tentam parecer misturados votando aleatoriamente, a linha de tendência dos upvotes de bots é mais suave do que a de upvotes de usuários reais

Relação entre ranking diário e upvotes de bots

• O lançamento em 1º lugar no ProductHunt é apresentado nas newsletters diária e semanal
• Para chegar ao 1º lugar, 15% de votos de bots parecia ser um nível seguro
• Lançamentos com mais de 60% de votos de bots pareciam não alcançar o 1º lugar por algum motivo
• Considerando apenas lançamentos depois de 2020, bots representam uma fatia maior dos upvotes em posts recentes no topo
• A interpretação é que lançamentos que compraram upvotes podem não ser produtos de alta qualidade e, por isso, muitas vezes ficam no top 5 em vez de chegar ao 1º lugar

Efetividade de lançar no ProductHunt

• Mesmo que a maioria dos comentários e upvotes seja de bots, o ProductHunt ainda pode ter alguns usuários reais
• Se pagar bots resultar em destaque na newsletter, há a possibilidade de mais pessoas reais verem o produto
• Lançar no ProductHunt não traz efeito de SEO por backlinks
  • Para o Google contabilizar como backlink, o elemento de link a para o produto não pode ter nofollow
  • Os links de produto no ProductHunt incluem nofollow, então mecanismos de busca não os contabilizam como backlinks
  • Quando apenas um link é inserido no produto, ele não é um link real, mas um elemento button que abre a página do produto via JavaScript
  • Outros sites agregadores podem capturar o lançamento e criar links, mas o ProductHunt em si não é contabilizado como backlink
• Entre investidores, há grupos que valorizam o selo de #1 do ProductHunt, o que pode ajudar em conversas com investidores
• No geral, vale a pena tentar lançar no ProductHunt, mas é melhor não gastar mais do que alguns minutos preparando o lançamento nem perder tempo respondendo a comentários

Análises restantes e projetos relacionados

• Havia a intenção de criar uma lista de lançamentos sem votos de bots para ver se o lançamento nº 1 do dia mudaria ao remover os votos de bots
• Como não se queria apontar lançamentos que receberam muitos upvotes de bots sem necessariamente terem pago por eles, nem dar divulgação extra a lançamentos que pagaram, essa análise foi adiada para um artigo futuro
• A discussão relacionada está no HN
• Como tentativas de melhorar os problemas do ProductHunt, também foram apresentados wonderful.dev e wonderful.dev/alan

[GN⁺]

Opiniões do Hacker News

• Fico curioso se o ProductHunt usa alguma solução de CAPTCHA
  CAPTCHA costuma ser bastante criticado, mas acho que ainda tem muito valor para bloquear a maior parte desse tipo de ataque de spam. Problemas de usabilidade, acessibilidade e privacidade vêm melhorando nos últimos anos com métodos que funcionam sem entrada do usuário e também preservam a privacidade; e, embora haja a crítica de que bots sofisticados conseguem contorná-los, técnicas tradicionais ainda são úteis o suficiente para barrar bots de baixo esforço. Para ataques que usam humanos de verdade, CAPTCHA não é mesmo a ferramenta certa, então o site precisa ter defesas separadas, mas não acho que essa seja a principal causa do spam visto hoje

  • Ultimamente venho pensando se seria possível criar uma espécie de sistema com uma aposta envolvida para provar que alguém provavelmente é humano
    Por exemplo, se em um site “atestador” você fizer uma doação única de 5 dólares para uma instituição de caridade à sua escolha, recebe um token que comprova que gastou dinheiro, e sites parceiros como o HN podem queimar esse token para marcar a conta como provavelmente humana, ou pelo menos como um bot cujo dono teria prejuízo se fosse bloqueado. Isso é muito mais amigável à privacidade do que várias consultas a sistemas nacionais de identidade e, mesmo que pareça “comprar o direito de falar”, na prática pode sair mais barato do que o tempo, transporte e burocracia exigidos por sistemas gratuitos. Os grandes problemas provavelmente seriam fraudes com cartões roubados para comprar tokens, sites atestadores que somem depois de receber o dinheiro, sites de destino que coletam tokens às escondidas, e o processamento descentralizado em que vários sites de doação e sites de conta confiam cada um em tokens diferentes
  • Já existe uma indústria de serviços de resolução de CAPTCHA, e a maioria usa humanos em regiões de mão de obra barata
    Em um dos serviços populares, custa algo como US$ 0,001 a US$ 0,002 por reCAPTCHA, então nem exige grande nível técnico para usar. Mesmo que cada comentário exigisse um CAPTCHA, com cerca de 50 dólares por ano seria possível spammar um site com 100 comentários por dia; talvez isso filtre o script kiddie médio, mas se der para ganhar dinheiro com spam, é fácil continuar lucrativo. É difícil chamar esses serviços de “caso extremo”
  • Operadores de sites querem tornar os dados públicos, mas ao mesmo tempo impedir que sejam copiados
    Isso é uma contradição inerente, como DRM que não funciona. Desenvolvedores web também incham sites com megabytes de JavaScript e designs excessivamente complexos; usar simplesmente um site estático e uma CDN poderia sair muito mais barato
  • Uma solução quase perfeita é revisar manualmente todos os envios
    Use um sistema automatizado como primeira linha de defesa contra spam e, para os envios que passarem, contrate pessoas para verificar um por um. Mesmo que algo tenha sido enviado por uma pessoa, esse processo também pode garantir um certo padrão de qualidade. Envios legítimos barrados pelo filtro inicial de spam poderiam recorrer por e-mail ou algo parecido e entrar em uma fila de revisão manual. Não é fácil, e pode levar tempo até publicar, mas spam e conteúdo de baixa qualidade podem chegar praticamente a zero
  • Como alguém que já cai em CAPTCHA com frequência por usar VPN, espero que isso não aumente ainda mais
    É preciso pensar em quanto tempo humano é desperdiçado nessas coisas

• Quando publiquei um produto no ProductHunt uns 5 anos atrás, também recebi dezenas de ofertas de promoção garantindo o 1º lugar
  As mensagens começaram a chover literally uma hora depois da publicação, e hoje provavelmente está ainda pior

• É problemático partir de uma classificação arbitrária que não tem como verificar se o usuário é bot ou não e então fazer uma análise
  Se essa classificação estiver errada, toda a análise estará errada. Chama atenção especialmente a parte que diz que “os comentários de bots dispararam por volta do fim de 2022, quando o ChatGPT começou a ser amplamente usado”; um dos critérios de classificação é que “comentários gerados pelo ChatGPT têm maior frequência de palavras como game-changer, caracteres difíceis de digitar como em dash ou ™, e incluem nomes longos de produtos sem alteração”. Ou seja, classifica-se como bot quem se comporta como o ChatGPT e depois se observa, como se fosse uma descoberta interessante, que esse tipo de usuário aumentou depois do lançamento do ChatGPT. Também é possível que já houvesse muitos bots antes, mas eles usavam outro software, agiam de forma diferente e por isso não foram detectados

  • É verdade, mas se a classificação de bots que usam ChatGPT estiver correta, o fato de comentários gerados pelo ChatGPT terem realmente disparado é, por si só, digno de nota
    E, se essa classificação estiver correta, mesmo que o número total de bots esteja sendo subestimado por não incluir bots que não usam ChatGPT, também é importante que comentários gerados por bots tenham ultrapassado em muito o número de comentários de pessoas reais. Claro, como você disse, há muitos “se” aqui, e se a premissa cair, a conclusão também cai
  • O texto começa com um teste de injeção de prompt, e a premissa vem acompanhada de evidências
    Se não for assim, é preciso propor um método alternativo de classificação; caso contrário, parece malicioso e não ajuda
  • Esse tipo de método estatístico pode ser preciso para julgar se uma seção de comentários está cheia de bots, mas é muito menos preciso para determinar se um comentário individual é de bot

• A pergunta central é quem está no ProductHunt
  São clientes? Duvidoso. São indie hackers? É possível. Precisamos avaliar para quem estamos vendendo e se, para começo de conversa, faz sentido lançar no PH

  • Ponto muito bom
    Lançamos no PH, ficamos em 1º lugar no dia e em 1º na semana, mas quase não ganhamos novos clientes; em compensação, recebemos bastante inbound de investidores. Se você está captando investimento, há valor, mas, caso contrário, precisa ir onde seus clientes estão. Nossos clientes não eram usuários do PH

• A análise é excelente, mas o fato de o ProductHunt ser um site “de verdade” é ainda mais surpreendente
  Bloqueei o PH com ublacklist há muito tempo, porque parecia divulgação de SEO/lixo e era parecido demais com sites do tipo “VS/comparação/5 melhores apps”, quase sem conteúdo. Esses sites aparecem mais rápido do que dá para filtrá-los manualmente. Mesmo depois de verificar de novo e perceber que não era conteúdo puramente gerado, se eu o encontrasse por acaso nos resultados de busca, ainda não entenderia sua proposta de valor

  • Conheço várias empresas que consideram bastante importante conseguir uma boa posição no PH, mas minha reação foi a mesma
    Usuários finais reais ou empresas realmente se importam com isso?

• A tendência entre bots e humanos é meio preocupante
  Humanos detectados parecem votar e comentar cada vez menos com o passar do tempo, enquanto os bots aumentam. Será que isso é mais um sinal de que a teoria da internet morta está correta?

  • DIT recebeu um nome ruim
    Como algo que ainda não aconteceu, mas que se realizará no futuro, profecia da internet morta teria sido uma expressão melhor
  • Relacionado a isso, humanos reais no HN são limitados a 5 comentários a cada 6 horas, mas agentes mal-intencionados podem contornar esse limite simplesmente criando centenas de contas

• Antigamente, existia a Web of Trust (WOT), que votava em sites
  Será que uma Web of Trust para humanos poderia ajudar na defesa contra bots? Se eu tiver uma dúzia ou mais de contas que possam garantir que sou uma pessoa real, e outras pessoas também puderem votar em mim, dá para criar uma rede de confiança. Claro que seriam necessárias sementes, mas isso poderia ser estabelecido com relativa facilidade por meio de contas verificadas ou conexões e interações em redes sociais. X e Meta provavelmente sabem com bastante certeza quais contas são bots, mas não parecem interessados em oferecer esse conhecimento como serviço

  • A IA continuará melhorando
    Não deve demorar muito para surgir uma IA cujo objetivo seja construir uma presença online que faça as pessoas acreditarem que há uma pessoa real por trás. Ela poderia até postar vídeos gerados em que uma pessoa falsa realiza atividades comuns. No fim, vamos precisar de uma Web of Trust, provas e pontuações de reputação de agentes, e isso provavelmente terá de incluir elementos como interações presenciais no mundo real, algum apoio do governo e câmeras capazes de autenticar filmagens e metadados. Quem consome conteúdo e quer verificar sua autenticidade terá de participar desse sistema ou permanecer na mídia tradicional, e alguns países podem criar leis para ajudar seus cidadãos a consumir notícias verdadeiras. Ainda assim, não vejo como criar uma rede de confiança bastante forte sem realmente saber a identidade da outra parte. Por isso, essa rede de confiança também será usada por criminosos e governos para encontrar alvos. O custo social de permitir que a IA se passe por humanos é tão alto que legislar para proibir isso pode valer a pena
  • No fim, é preciso lembrar que você não é o cliente; algum anunciante é o cliente
    Inflar o número de usuários para vender mais anúncios é a principal função desses serviços
  • Um sistema assim será varrido e distorcido para atender aos objetivos de conveniência do Estado

• Há alguns posts no Reddit que não têm muitos comentários, mas, mais ou menos toda semana, um bot baseado em GPT aparece e deixa perguntas extremamente óbvias, do tipo “Uau! Isso realmente dá o que pensar, fico curioso sobre por que é importante”
  Parece uma tentativa de me fazer alimentar o sistema com mais dados. Eu não ficaria surpreso se o próprio Reddit operasse esses bots para estimular engajamento

  • Basta olhar a história do Reddit
    Antes de bots serem viáveis, a curadoria era feita com contas falsas gerenciadas por pessoas; agora que bots são possíveis, acredito firmemente que a maior parte dos comentários e posts nos subreddits populares seja de bots. Acho que uma parcela considerável deles é operada pelo próprio Reddit