Relatório de segurança do curl gerado por IA

Recompensa por bugs

• O programa de recompensa por bugs oferece dinheiro real como recompensa quando hackers relatam problemas de segurança.
• Algumas pessoas procuram padrões no código-fonte ou executam scanners básicos de segurança e depois relatam os resultados esperando receber uma recompensa, sem análise adicional.
• Durante vários anos operando o programa, a proporção de relatórios lixo não chegou a ser um grande problema, e a maioria podia ser facilmente detectada e ignorada.
• Mais de 70.000 USD já foram pagos em recompensas por bugs até agora, e 64 dos 415 relatórios de vulnerabilidade foram confirmados como problemas reais de segurança.

Lixo melhor é pior

• Quando um relatório parece melhor e dá a impressão de ter fundamento, leva mais tempo para investigá-lo e descartá-lo.
• Relatórios de segurança exigem que uma pessoa dedique tempo para revisá-los e avaliar seu significado.
• Relatórios lixo não ajudam o projeto e tiram tempo e energia dos desenvolvedores de atividades produtivas.

Relatórios de segurança gerados por IA

• A IA pode fazer muitas coisas boas, mas também pode ser usada para fazer coisas erradas.
• A IA pode ser usada de forma útil para encontrar e relatar problemas de segurança, mas ainda não foi encontrado um bom exemplo disso.
• No momento, usuários estão empenhados em usar LLMs para analisar o código do curl e enviar os resultados como relatórios de vulnerabilidade de segurança.

Detecção de lixo gerado por IA

• Como os relatores nem sempre dominam completamente o inglês, às vezes pode ser difícil entender de imediato o que querem dizer.
• Às vezes, os relatores usam IA ou outras ferramentas para ajudá-los a se expressar ou a traduzir suas ideias.
• O fato de haver partes do texto geradas por IA ou ferramentas semelhantes não é, por si só, um problema imediato.

Exibição A: divulgação de alteração de código

• No outono de 2023, foi feito um anúncio prévio de divulgação sobre o CVE-2023-38545.
• Um dia antes do anúncio do problema, um usuário enviou um relatório no Hackerone: a alteração de código da vulnerabilidade Curl CVE-2023-38545 foi exposta na internet.
• O relatório tinha cheiro de alucinação em estilo de IA: criava algo novo sem conexão com a realidade.
• O usuário informou que usou o Bard, a IA generativa do Google, para encontrar esse problema.

Exibição B: vulnerabilidade de buffer overflow

• Era um problema menos óbvio e mais bem elaborado, mas ainda assim não escapava da alucinação.
• Na manhã de 28 de dezembro de 2023, um usuário enviou um relatório ao Hackerone: vulnerabilidade de buffer overflow no processamento de WebSocket.
• O relatório era detalhado, escrito em inglês adequado e incluía até uma correção sugerida.
• Depois de várias perguntas e alucinações, percebeu-se que o problema não era real e ele foi encerrado naquela mesma tarde sem correção.

Banir esses relatores

• O Hackerone não tem uma função explícita para impedir mais comunicação com o projeto.
• Quando um problema é encerrado sem correção, a "reputação" do pesquisador cai, mas se isso acontece apenas uma vez em um único projeto, a mudança é muito pequena.

Futuro

• Esse tipo de relatório provavelmente ficará mais comum com o tempo, e será possível aprender a detectar melhor sinais de IA e ignorar relatórios com base nisso.
• Isso pode ser lamentável quando a IA estiver sendo usada para um trabalho apropriado.
• Há convicção de que no futuro surgirão ferramentas baseadas em IA que realmente funcionem, e usar IA para encontrar problemas de segurança não é necessariamente uma má ideia.
• Se for adicionada uma verificação humana muito pequena (e inteligente), o uso dessas ferramentas e seus resultados podem melhorar bastante.

Discussão

• Hacker News

Créditos

• Imagem: Haider Mahmood by Pixabay
• AI
• cURL and libcurl
• hackerone
• Security

Opinião do GN⁺

• O avanço da tecnologia de IA traz novos desafios e oportunidades também para a área de segurança. A IA pode ajudar a encontrar vulnerabilidades, mas no momento relatórios imprecisos frequentemente desperdiçam o tempo dos desenvolvedores.
• Identificar e corrigir rapidamente problemas de segurança é muito importante para manter a segurança do software. No entanto, com o aumento dos relatórios gerados por IA, são necessárias novas abordagens para gerenciá-los de forma eficaz.
• Este texto destaca a importância do uso responsável da IA e da supervisão humana ao apresentar casos reais de como a IA pode ser mal utilizada na área de segurança.

[GN⁺]

Comentários do Hacker News

• Resumo dos comentários do Hacker News:

  • Opinião sobre o tom específico dos LLMs (grandes modelos de linguagem):

    É aceitável que os LLMs tenham um tom específico que soe como um mordomo robótico, mas é preocupante que as pessoas estejam começando a falar como LLMs.

  • Opinião sobre o relatório de vulnerabilidade de segurança relacionado ao curl gerado por LLM:

    No início, parecia ser uma duplicata de algo já visto antes, mas depois descobriram que na verdade era um relatório falso gerado por outro LLM.

  • Preocupação com LLMs e programas de bug bounty:

    Relatórios falsos enviados por LLMs para programas de bug bounty podem dificultar a operação desses programas. Talvez seja necessário administrá-los de forma mais rígida para que apenas pessoas reais e pesquisadores de segurança possam participar.

  • Preocupação com o desperdício de tempo de engenharia em relação ao custo dos LLMs:

    É preocupante que os LLMs consigam desperdiçar uma grande quantidade de tempo valioso de engenharia com um custo relativamente baixo.

  • Percepção sobre o problema de confiabilidade do conteúdo causado por LLMs:

    O que antes era uma forma de comprovar um esforço mínimo por meio da escrita agora passou a exigir ainda mais esforço por causa dos LLMs. Isso afeta programas de bug bounty e o processo de CVE, elevando a barreira de envio e, como resultado, fazendo com que mais vulnerabilidades de segurança possam deixar de ser descobertas e corrigidas.

  • Análise técnica do código do curl:

    É especialmente estranho reclamar da verificação de comprimento, já que o curl não usa dados fornecidos pelo usuário e tem tamanho fixo em tempo de compilação. Também há curiosidade para que alguém mais familiarizado com a linguagem C explique o propósito do uso da variável local keyval.

  • Crítica à revisão de código feita por LLM:

    dineshsec / dinesh_b ficar ensinando o Daniel a usar strncpy é perda de tempo, e argumenta-se que usar memcpy é melhor do que strcpy ou strncpy. As recomendações do LLM, na prática, não são recomendáveis.

  • Opinião sobre o problema da IA na área de cibersegurança:

    Até recentemente, a cibersegurança era relativamente imune a informação lixo, mas agora a IA está permitindo que golpistas enganem com mais facilidade. O problema não é tanto a IA em si, mas a ética; se um relatório de segurança apenas parecer "legítimo", ele pode acabar passando.