Curl: ainda não vimos nenhum relatório de segurança válido escrito com ajuda de IA

• O projeto curl adotou uma política de bloqueio imediato para denunciantes que usam IA, devido ao abuso de envios de relatos de segurança baseados em IA
• A partir de agora, todos os denunciantes de segurança precisam responder claramente à pergunta "Você usou IA?", e, em caso de uso de IA, receberão perguntas adicionais de verificação
• O projeto enfatiza que relatos escritos por IA são, em sua maioria, "slop de IA" sem valor, e que não houve sequer um único caso real de relato válido
• Foi considerado que os relatos com abuso de IA via HackerOne passaram de todos os limites, sendo tratados como uma ação de interferência no nível de um ataque DDoS
• O exemplo que deu origem ao problema é https://hackerone.com/reports/3125832, e esse relatório foi o gatilho para a mudança na política de resposta

[sagee]

Penso mais ou menos o mesmo.

[imnotarobot]

Você é um robô?

[GN⁺]

Comentário do Hacker News

• Eu processo relatórios de um programa de bug bounty de um milhão de dólares

  • O spam de IA é grave
  • Nunca recebi um relatório válido por meio de LLM
  • As pessoas pegam a razão pela qual um relatório de bug foi considerado inválido e a colocam de volta no LLM, obtendo um resultado ainda mais confuso
  • Não vale a pena responder com nada além de "encerrado como spam"
  • Acredito que um dia surgirão excelentes ferramentas de segurança de código, mas o problema é que as pessoas acham que esse dia é hoje
  • Fico preocupado com pessoas que não conseguem distinguir a verdade do lixo

• Para quem não quer clicar no link, <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>; é o exemplo mais recente de um relatório incorreto sobre o curl

• Se você quisesse plantar vulnerabilidades em grandes projetos open source, um jeito fácil seria usar IA para fazer DDOS nos relatórios de vulnerabilidade deles, dificultando encontrar os relatórios reais

  • Os relatórios falsos não parecem ter sido escritos por uma pessoa de verdade
  • Fico me perguntando por que alguém faria isso, a menos que esteja tentando ganhar reconhecimento

• Ler o commit que foi a gota d'água explica bem o problema: <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>;

  • Deve dar muita raiva ter que vasculhar esse tipo de coisa
  • Fico pensando se um sistema de reputação poderia funcionar aqui
  • Proponho um sistema que dê reputação a quem tiver a identidade verificada por um provedor de AML/KYC, aumentando essa reputação cada vez que encontrar uma vulnerabilidade correta
  • A IA está mudando a economia desse setor

• Dá para saber sem nem clicar no relatório que tudo ali é alucinação

  • Tanto o arquivo de patch original quanto o segfault estão errados
  • Parece que eles simplesmente enviam resultados gerados por IA de forma aleatória, sem nem verificar

• O evilginx aumentou a gravidade

  • O autor do relatório declarou que quer ser contratado
  • Fico imaginando se ele está usando o ChatGPT para encontrar gente que queira trabalhar enviando spam de projetos gerados por IA

• A maioria dos LLMs, quando você pede para encontrar vulnerabilidades de segurança em código, inventa coisas completamente fictícias

  • Código incorreto leva a "correções" sem sentido
  • O principal problema é o desalinhamento entre a demanda do usuário e a efetividade do sistema

• O que é decepcionante nas interações com pessoas que usam muita IA é que elas frequentemente começam com "perguntei ao ChatGPT e..."

  • Se a pessoa entendeu o que o chatbot ensinou, então deveria explicar; se não entendeu ou não confia, então não deveria mencionar

• A solução é simples

  • Antes de enviar um relatório de segurança, o autor deveria depositar $10 em escrow, e se a submissão for lixo gerado por IA, o valor vai para quem revisar

• Em contraponto, nós temos CVEs, e a diferença é que um dos cofundadores era um pesquisador agressivo de kernel

  • O sistema está muito melhor calibrado do que a média das pessoas
  • A quantidade de relatórios incorretos que o curl recebeu é enorme
  • A ferramenta de fato funciona, mas há muita gente tentando ganhar dinheiro rápido, então é preciso filtrar o ruído