Não cite a IA — respostas de LLMs não são fatos

• As respostas de modelos de linguagem de grande porte (LLMs) não são fatos, mas resultados de previsões estatísticas de palavras
• ChatGPT, Claude, Gemini e outros apenas preveem a próxima palavra mais provável, sem reconhecer a origem nem a veracidade da informação
• Eles podem criar frases convincentes, mas seu conteúdo pode não ser preciso nem confiável
• O ato de copiar e repassar respostas da IA como se fossem base autoritativa não passa de repetir “combinações de palavras que costumam aparecer juntas”
• A prática de citar respostas de IA como fatos revela o risco de enfraquecimento da verificação do conhecimento e da capacidade de pensar criticamente

---

A natureza das respostas de IA

• Respostas de modelos de linguagem de grande porte como ChatGPT, Claude e Gemini não são fatos
  • Eles funcionam prevendo a próxima palavra que virá na frase
  • Como resultado, podem gerar informações plausíveis, mas imprecisas
• Esses modelos podem ser comparados a uma pessoa que estudou uma enorme quantidade de material, mas não se lembra das fontes
  • Ou seja, recombinam frases sem reconhecer a base nem o contexto das informações

Os limites da confiabilidade

• As respostas ou conselhos fornecidos pela IA podem até estar corretos, mas sua fundamentação é obscura
  • A resposta não vem de um “livro lembrado”, e sim de combinações de palavras que aparecem com frequência juntas
• Portanto, é inadequado citar a saída da IA como fato ou como informação autoritativa
  • A afirmação “o ChatGPT disse isso” não passa de uma citação do resultado de uma previsão de palavras

Os riscos da citação

• Copiar e transmitir respostas da IA tal como saem é como espalhar combinações de palavras, não a verdade
  • Às vezes isso pode ser útil ou trazer insights, mas não é a verdade nem um critério final de julgamento
• O texto descreve esse comportamento como “pessoas inteligentes parando de pensar”

Materiais adicionais de referência

• OpenAI: por que modelos de linguagem alucinam
• Oxford University: modelos de linguagem de grande porte representam risco para a ciência com respostas falsas, diz estudo de Oxford
• New York Times: o poder da IA está crescendo, mas as alucinações estão piorando
• MIT Media Lab: mesmo com baixa precisão, pessoas confiam demais em conselhos médicos gerados por IA
• Business Insider: pesquisadores da OpenAI explicam a causa das ‘alucinações’ dos chatbots de IA
• Reuters: ‘alucinações’ de IA em documentos judiciais soam o alarme para advogados
• Nature: ‘chatbots de IA são bajuladores’ — pesquisadores alertam que eles prejudicam a ciência
• CNN: pais processam a OpenAI alegando que ela aconselhou o suicídio do filho de 16 anos
• Financial Times: as ‘alucinações’ que assombram a IA: por que chatbots não conseguem dizer a verdade
• The Guardian: chatbots de IA ‘bajuladores’ repetem o que usuários querem ouvir, mostra estudo

Conclusão

• Embora a própria tecnologia de IA e machine learning seja avaliada de forma positiva,
  é preciso ter cautela com a atitude de citar ou confiar em respostas de IA sem senso crítico
• O site recomenda compartilhar este conteúdo com quem diz “But ChatGPT Said…”

[kandk]

É um post de um ano atrás?

[crawler]

kkkkkk

[savvykang]

https://github.com/leoherzog/stopcitingai/blob/main/index.html
Não, se você verificar o histórico de alterações do arquivo, verá que o rascunho foi criado há uma semana.

[nayounsang1]

"É o resultado da previsão estatística de palavras" — só de reconhecer esse fato já parece ficar claro como lidar com a IA

[GN⁺]

Opinião no Hacker News

• As respostas de LLMs como ChatGPT, Claude e Gemini não são fatos
  Elas apenas preveem qual palavra vem em seguida
  Analogias como “um artigo da Wikipédia também não é fato, é só uma variação no fluxo do campo magnético” não fazem sentido
  No fim, o que importa é citar a fonte. Seja Wikipédia, um humano ou um cachorro, sem fonte eu não confio

  • Um LLM não pode ter fonte. É um modelo de linguagem, não uma enciclopédia
    A saída é apenas uma combinação de palavras escolhidas probabilisticamente; algumas podem vir de expressões comuns, outras de lugares como o 4chan, e outras podem ser alucinações (hallucination)
    Nesses casos, a própria ideia de “fonte do fato” deixa de fazer sentido
  • Um artigo da Wikipédia, mais do que um fato, é um resultado produzido pela comunidade
    Dependendo de como se define “fato”, o ponto da discussão muda
  • A analogia de “não é fato, é só uma variação no fluxo do campo magnético” é uma comparação errada
    O problema não é o resultado, mas a confiabilidade do processo que levou a ele
    Mesmo que você jogue dados e acerte que “3+4=7”, isso só significa que acertou por acaso; o processo continua errado
    O problema dos LLMs é mais próximo desse tipo de erro de processo
  • A explicação de “previsor da próxima palavra” é tecnicamente correta, mas não descreve toda a essência dos LLMs
    Na prática, eles são treinados para se alinhar com preferências humanas e bajulação (sycophancy), produzindo um “texto xarope de milho com alto teor de frutose” que é agradável de ler
    Por isso, podem ser até inadequados para brainstorming ou resumo
    Mas estão melhorando cada vez mais em perguntas factuais simples
    No fim, LLMs não são meros preditores; são entidades otimizadas para parecer mais convincentes

• Mesmo em empresas pequenas, é importante definir expectativas sobre o uso de IA
  Um princípio simples como “mesmo usando IA, a responsabilidade pelo resultado continua sendo sua” já basta
  Verificação de dados, testes de código e checagem das respostas são indispensáveis

• Antes se dizia: “não copie e cole do Stack Overflow; leia e entenda”
  O mundo mudou, mas a essência continua a mesma

  • Só que agora o processo de “ler” exige muito mais esforço do que antes
    Essa é a grande mudança

• A analogia com “uma pessoa que leu milhares de livros, mas não lembra onde leu cada coisa” parece muito com um LLM
  Eu também às vezes alucino a fonte, pensando algo como “acho que isso estava na série Schaum”

  • A ponto de surgir a piada: então não posso citar “foi o gus_massa do HN que disse isso?”
  • Na verdade, esse fenômeno faz parte da própria natureza do aprendizado
    No começo você lembra onde aprendeu que “Paris é a capital da França”, mas com o tempo a fonte desaparece e só o conteúdo fica

• LLMs seguem exatamente o princípio de Garbage In, Garbage Out
  Funcionam bem em áreas bem documentadas, mas em temas nebulosos produzem informação ruim
  Especialmente por terem pouca compreensão de contexto, erram se você não especificar com clareza
  Em suporte técnico, surgem discussões frequentes com clientes que acreditam cegamente na resposta do ChatGPT

  • O problema é que até informação ruim é apresentada com a mesma confiança que informação boa
    Mesmo quando você pede correção, volta outra resposta errada junto com um pedido de desculpas inútil

• A era da “pós-verdade (post-truth)” assusta, mas ao mesmo tempo dá a sensação de que as pessoas estão desconfiando mais e fazendo mais perguntas
  Como disse Rorty, “fato é aquilo sobre o qual já não discutimos mais”, ou seja, um produto de consenso social
  Mais importante do que discutir a verdade é como mediar o choque de linguagens entre comunidades de discurso

• Se você disser ao seu chefe “isso é uma ideia idiota”, dificilmente ele vai gostar

• É melhor perguntar: “podemos olhar esse log da conversa juntos?”
  Assim dá para verificar em que ponto o LLM introduziu o viés

  • Eu ajo de forma parecida. Quando alguém cita o ChatGPT, eu digo: “o ChatGPT disse que isso está errado”
    Não vejo por que eu deveria refutar uma saída de LLM não verificada; a responsabilidade é de quem citou
  • Algumas pessoas até mandam isso pelo Apple Messages esperando que seja tratado como se fossem palavras delas mesmas

• A discussão sobre “citar fontes” está deixando passar um problema mais profundo
  LLMs são fortes em tarefas verificáveis (código, tradução, resumo), mas fracos em áreas não verificáveis (pesquisa, domínios especializados)
  Por isso eu só uso LLMs como geradores de rascunho que um especialista possa revisar
  O risco não é a alucinação em si, mas a diferença de confiança que surge quando a fluência do modelo supera a especialização do usuário
  Até abordagens com chamadas de ferramentas como RAG ou busca na web acabam sendo apenas uma troca por outros modos de falha

• Minha reação é: “se o ChatGPT é mais confiável do que eu, por que me contrataram?”
  Eu poderia passar horas explicando, mas não seria melhor simplesmente confiar no especialista?

  • Mas também acontece muito de justamente quem diz “é só confiar em mim” ser a pessoa menos confiável de todas