EY Canada publicou relatório de cibersegurança e a maior parte das citações era alucinação

 (gptzero.me)
1 pontos por GN⁺ 2026-06-01 | 1 comentários | Compartilhar no WhatsApp
  • O relatório de 44 páginas sobre fraude em programas de fidelidade da Ernst & Young Canada foi revelado como um documento com citações falsas, atribuições incorretas de fontes, estatísticas inventadas e texto escrito por IA
  • A maioria das URLs na tabela de referências estava quebrada ou era falsa, mais da metade dos títulos não correspondia às fontes reais, e o AI Scan marcou 72% do texto como gerado por IA
  • Muitas fontes atribuídas a BleepingComputer, Wired, Gartner, McKinsey, Forbes, Cisco Talos e TechCrunch foram verificadas como erro 404, páginas de tag ou documentos inexistentes
  • O número de US$ 200 bilhões foi usado com dois sentidos difíceis de conciliar: o mercado total de pontos de fidelidade e o valor de pontos não utilizados, e as duas citações usadas como base também se mostraram fabricadas
  • O relatório defeituoso foi parar no Canberra Times e em mais de 60 jornais, e Claude, ChatGPT e Perplexity também expuseram essa informação alucinada

Problemas no relatório da Ernst & Young

  • A Ernst & Young Canada publicou no fim de 2025 um relatório de 44 páginas sobre ameaças cibernéticas e fraudes em sistemas de fidelidade, Points of Attack: Uncovering Cyber Threats and Fraud in Loyalty Systems
  • O relatório foi creditado a dois partners e um senior manager, mas foram encontradas nele citações falsas, atribuições incorretas de fontes, estatísticas inventadas e texto escrito por IA
  • A EY Canada é a operação canadense da Ernst & Young, que presta serviços de milhões de dólares por ano ao governo do Canadá
  • O Hallucination Check da GPTZero foi usado em um pipeline automatizado para localizar e escanear relatórios públicos de grandes consultorias nos últimos meses, sugerindo que o vibe citing também está se espalhando em relatórios corporativos de grande porte

Método de citação e resultados da verificação

  • O relatório da EY Canada, em vez de usar notas de rodapé ou citações acadêmicas convencionais, menciona as fontes diretamente no texto ou reúne as referências em uma resources table nas páginas 41 a 43
  • Essa tabela traz título da fonte, descrição, URL e, em alguns casos, veículo e data, mas a maioria das URLs estava quebrada ou era falsa, e mais da metade dos títulos não correspondia às fontes reais
  • Considerando o custo reputacional de falsos positivos, a GPTZero define citações alucinadas com critérios específicos e valida manualmente os resultados do Hallucination Check
  • O texto do relatório foi marcado como 72% IA pelo GPTZero AI Scan, e erros típicos de LLM, como estatísticas falsas, atribuições incorretas e contradições internas, aparecem de forma repetida

Exemplos de fontes falsas ou imprecisas

  • Artigo da BleepingComputer sobre violação em programas de fidelidade de companhias aéreas

    • Airline Loyalty Breach: BleepingComputer é apresentado como um artigo sobre milhões de contas de fidelidade de companhias aéreas comprometidas em ataques de credential stuffing
    • https://bleepingcomputer.com/news/security/… retorna erro 404, e verificou-se que o artigo nesse caminho foi removido ou nunca existiu

  • Artigos da Wired sobre deepfakes de voz e segurança de API

  • Relatórios da Gartner e da McKinsey

    • Gartner Market Trends – Loyalty Fraud é apresentado como orientação estratégica sobre a evolução da fraude em programas digitais de fidelidade e carteiras móveis
    • https://www.gartner.com/en/documents/4000201 apenas redireciona para o site principal da Gartner, e não existe documento da Gartner com esse título
    • McKinsey & Company – Loyalty Economics Report (2022) foi apresentado como o relatório que estimou em US$ 200 bilhões os pontos de recompensa não usados no mundo, mas esse relatório não existe

  • Artigo da Forbes sobre a economia da fidelidade

    • Forbes – The $200 Billion Loyalty Economy é citado como base para descrever programas de fidelidade como ativos digitais importantes
    • A URL está quebrada e, embora Blake Morgan tenha publicado na Forbes, não existe artigo com esse título exato
    • Ainda assim, um artigo da Forbes de 2020 usou a expressão “$200 billion loyalty economy”

  • Cisco Talos e TechCrunch

    • Cisco Talos: API Attacks on Retail foi apresentado como um texto sobre exploração de APIs inseguras em comércio e sistemas de fidelidade, mas https://blog.talosintelligence.com/api-abuse-retail/ retorna 404
    • TechCrunch: Loyalty Program Breaches foi apresentado como um artigo sobre violações de programas de fidelidade e vazamento de dados de usuários, mas https://techcrunch.com/tag/loyalty-program/ não é um artigo específico, e sim uma página de tag loyalty-program

Contradição interna na estatística de US$ 200 bilhões

  • Afirmação no resumo executivo

    • O Executive Summary afirma que o mercado global de pontos de fidelidade vale US$ 200 bilhões, e que de 30% a 50% disso não é utilizado
    • Essa afirmação é sustentada por uma citação falsa da Forbes

  • Mudança de sentido na página 10

    • Na página 10, o mesmo valor de US$ 200 bilhões deixa de significar o valor total global dos pontos e passa a significar uma estimativa dos pontos de fidelidade não utilizados
    • Como o relatório já havia afirmado que até 50% dos pontos não são usados, as duas afirmações só poderiam ser verdade ao mesmo tempo se o mercado global de pontos de fidelidade fosse de pelo menos US$ 400 bilhões

  • Rastreando a origem da citação da McKinsey

    • O relatório fabricado McKinsey & Company – Loyalty Economics Report (2022) na página 43 é usado como base para a segunda afirmação, de que o valor global dos pontos não usados é de US$ 200 bilhões
    • O mesmo número foi usado com dois significados difíceis de conciliar, e foi confirmado que as duas citações que o sustentam eram fabricadas
    • Essa citação da McKinsey remonta a um post de blog fintech da Financial IT publicado 6 meses antes do relatório da EY
    • O texto afirmava que “more than $200 billion in points sit idle each year” e citava, na seção de fontes, uma inexistente McKinsey & Company: Loyalty Economics Report (2022)
    • Essa citação fabricada foi copiada para a tabela de referências do relatório da EY, lavando uma fonte falsa de um blog de baixa qualidade como se fosse uma publicação da Big Four

Estatísticas de 72% e 89% com fontes misturadas

  • Estatística de 72% de fraude em programas de fidelidade

    • Na página 6, o relatório afirma que 72% dos programas de fidelidade de clientes relataram furto ou fraude
    • Esse número é atribuído a um texto de 2019 da processadora canadense de pagamentos Paystone
    • Na página 11, a mesma estatística é atribuída ao resumo da NRF 2020 da empresa de prevenção a fraudes digitais Forter
    • Nem a Paystone nem a Forter aparecem na tabela de referências do relatório, e a fonte original parece ser uma pesquisa da Ipsos de 2017

  • Estatística de aumento de 89% em ataques de fraude em fidelidade

    • Na página 6, o relatório afirma que os ataques de fraude contra programas de fidelidade aumentaram 89% desde 2019
    • Na página 11, esse aumento de 89% passa a ser limitado a uma variação de um único ano, de 2018 para 2019, e é atribuído ao Fraud Attack Index da Forter
    • Essa fonte de fato existe e confirma parcialmente a segunda versão da afirmação, mas, como várias fontes usadas no relatório da EY, trata-se de material antigo
    • Fontes contraditórias entre si, fontes de baixa qualidade, estatísticas antigas e reformulações imprecisas são apresentados como sinais de AI slop

Impacto público e risco de contaminação de dados

  • Points of Attack não parece ter causado grande repercussão no Canadá, mas foi citado recentemente em uma matéria do Canberra Times, que foi distribuída para mais de 60 jornais em toda a Austrália
  • O relatório também pode ter circulado por briefings para clientes, apresentações internas e mídia proprietária fora do domínio público
  • Publicar relatórios online se aproxima de uma injeção de dados no conjunto de conhecimento da internet, e quando uma consultoria conhecida publica informação falsa ou citações alucinadas em sites de alto tráfego, isso pode induzir pesquisadores ao erro posteriormente
  • Ferramentas de IA de “deep research” podem ser ainda mais vulneráveis a essa contaminação de dados, porque escolhem fontes com base em sinais diferentes dos usados por humanos
  • Claude, ChatGPT e Perplexity exibiram informação alucinada originada no relatório defeituoso da EY

Objetivo do Hallucination Check

  • A GPTZero considera que o vibe citing se tornou um risco atual para pesquisadores, academia, consultores e pessoas que dependem de busca na web
  • O Hallucination Check é apresentado como uma ferramenta para identificar citações alucinadas e desinformação sem exigir verificação manual de todas as referências
  • A ferramenta também está sendo usada na revisão de submissões para conferências acadêmicas como IJCAI, ICLR e ICSE
  • A conclusão é que mesmo citações vindas de fontes respeitadas, como a Ernst & Young, já não podem ser aceitas apenas com base em confiança
  • É fornecido o link do Hallucination Check da GPTZero

Leituras relacionadas

1 comentários

 
GN⁺ 2026-06-01
Comentários do Hacker News

  • O problema que aparece em várias profissões é que as saídas de IA não são devidamente revisadas por pessoas capacitadas, como analistas experientes, engenheiros sêniores, advogados especialistas ou médicos residentes
    Na melhor das hipóteses, alguém dá uma passada de olho; na pior, nem chegam a ver antes de publicar, distribuir, colocar em produção, entregar ao cliente ou apresentar ao tribunal
    Em muitos casos, a capacidade de revisão necessária existe dentro da organização, mas essas pessoas já estão sobrecarregadas só com o trabalho do dia a dia
    Há alguns meses vi uma postagem sobre a Amazon fazer engenheiros sêniores revisarem saídas de IA generativa (https://news.ycombinator.com/item?id=47323017) e só consegui rir. Essas pessoas já estão ocupadas, e não parece algo que a Amazon aceitaria como aumento de gargalo humano em projetos e no desenvolvimento da infraestrutura como um todo

    • Parte do problema é que jogam o documento pronto para revisão só depois de tudo já estar assado
      Estou defendendo a necessidade de princípios básicos de engenharia em toda a organização
      Você não pede para um engenheiro revisar 1000 linhas de código sem nem a especificação original do que se queria alcançar. No mínimo, precisa haver contexto e, idealmente, o revisor deveria estar presente quando o trabalho é apresentado pela primeira vez para entender o contexto completo
      Mas esses documentos chegam no esquema tudo ou nada. O 39º indicador já vem definido em minúcia até o fim; aí o que fazer, voltar tudo atrás ou apenas se resignar porque já ficou assim
      Bastaria um documento de uma página — ou, no estilo Amazon, talvez seis páginas — dizendo algo como “é isso que proponho”, e já daria para questionar e lapidar a forma geral da ideia ainda na fase estrutural. Isso precisa acontecer antes de surgir o investimento emocional de que o relatório precioso já foi concluído
      Tradicionalmente, isso se parece com o pessoal de produto revisando a especificação em um ambiente SCRUM e os engenheiros fazendo revisão de código de verdade. Claro, o SCRUM morreu, mas isso é outra história
    • Do ponto de vista de um advogado, revisar saída de IA parece levar mais tempo do que fazer do zero. Comparado a usar modelos já existentes, então, nem se fala
      Quando se usa IA, muitas vezes é preciso ler tudo, explicar por que está errado e no fim reescrever tudo
      O tempo faturável aumenta bastante, mas isso parece um sintoma de como a suposta vantagem da IA — ser rápida e acessível para quem não entende do assunto — desaparece
    • Quando dizem “pessoas capacitadas não revisam a saída da IA”, fico pensando se estão falando justamente das pessoas que foram demitidas e desmoralizadas
      Um dos motivos de os “grandes homens e mulheres” gostarem de vibe coding é que agora sentem que conseguem fazer sozinhos o trabalho que antes exigia o doloroso processo de “passar para um especialista de contexto”
      Agora o LLM virou o “especialista de contexto embutido”, então passam a achar que não há mais necessidade de revisar a saída
    • O problema é que às vezes o tempo para validar a saída é maior do que o tempo de produzir desde o início
      Nesse caso, a IA vira, para muitos usos, um sistema de retorno sobre investimento fortemente negativo
    • Tenho interesse especial em educação e gestão do conhecimento humano. Vi a velocidade de formação em TI cair para perto de zero
      Basta pensar em formação profissional em áreas em que um erro pode parar no noticiário da noite
      A própria ideia de aceitar, com suspensão de julgamento, uma sequência de caracteres saída de uma matriz de números enquanto todos só tentam escapar da própria responsabilidade é arrepiante
      Isso lembra o caso de companhias aéreas do sul da Ásia que proibiram pousos manuais pelos pilotos, piorando a perda de habilidade e culminando em desastres bem conhecidos
      Se até consultores caríssimos não verificam nem links, então mais ainda

  • Existe alguma fonte que dê para ver em texto puro? O estilo em CSS está me dando dor de cabeça, e o modo de leitura parece não funcionar ou estar bloqueado

    • A rolagem é realmente torturante, e mesmo mudando para o modo de leitura fica quebrado
    • O Firefox tem o prático Reader view, que extrai só o texto da página e mostra de forma simplificada. No Mac, dá para ativar com Opt + CMD + R
      Só que esse recurso também tem o problema de remover imagens que contêm algumas das fontes usadas
    • No Lockdown Mode do iOS acontece a mesma coisa

  • A verdadeira comédia é ver esse lixo descendo da alta gestão. Prompt mal feito, lixo alucinado, zero informação acionável e zero análise real, só conversa fiada
    É o tipo de coisa “vejam esta análise dos chamados de suporte extraídos do Jira; precisamos corrigir estes três principais problemas!!!”, quando na verdade todo mundo já sabia disso havia anos e a gestão simplesmente nunca deu poder para ninguém corrigir
    Já vi isso mais de duas vezes, então precisa de um nome. Talvez Garbagemaxxing

    • Se “precisamos corrigir os três principais problemas” na verdade se refere a problemas que todos já conheciam havia muito tempo e para os quais a gestão nunca deu autoridade para resolver, então ainda assim o efeito líquido é positivo, não?

  • É uma página realmente horrível de explorar

    • No celular ela sequestra a rolagem e literalmente não dá para descer mais. O modo de leitura também só mostra algo como o primeiro parágrafo
      Vou ter de voltar nisso depois no desktop. O conteúdo parece interessante, mas na prática é impossível ler. Não consigo passar da seção que apresenta a Ernst and Young
    • Parece que a minha rolagem está alucinando
    • Isso está em outro nível de hostilidade ao usuário. Nunca vi nada assim antes
    • O iPhone ativou automaticamente o modo de leitura, e quando desliguei para tentar entender do que se tratava, concordei na hora
    • Feedback não linear com travamentos literais, que horror
      Algumas pessoas simplesmente não deveriam fazer sites

  • Será que alguém também alucinou sobre como a rolagem deveria funcionar numa página da web?

  • O estranho é que, 12 a 18 meses atrás, este relatório teria sido um escândalo enorme e causado dano duradouro à marca, mas agora parece que ninguém vai lembrar ou sequer perceber

  • Primeiro precisam consertar o site. Essas péssimas animações em JavaScript têm de sumir. Isso já tinha sido resolvido em 2014 com D3JS e jQuery

  • Não faço ideia de como algo assim acontece. Por exemplo, o Qwen Chat ou o Perplexity colocam citações no fim de cada frase gerada
    Assim você pode passar o mouse sobre cada citação e ver de qual site aquilo veio
    Será que simplesmente colocaram um prompt no ChatGPT sem busca na web e fizeram copiar e colar?

  • A EY vem demitindo gente discretamente ao longo de todo o último ano
    Não é surpreendente que tentar fazer mais com menos gente leve a queda de qualidade

    • O ponto interessante é que pode haver uma demanda considerável por um serviço que não faz nada
      Muito trabalho corporativo é só preencher checkbox
      O chefe diz: “traga um relatório sobre X. Vou entregar esse relatório ao meu chefe, e ele não vai ler”
      Aí a estrutura vira: “E&Y, por favor façam um relatório. Aqui estão 200 mil dólares”

  • É bem provável que a própria página tenha sido feita com vibe coding, e o autor provavelmente não ligou para isso