As alucinações eternas dos LLMs, uma realidade que precisamos aceitar

LLMs Will Always Hallucinate, and We Need to Live With This

Introdução

• À medida que os grandes modelos de linguagem (LLMs) passam a ser amplamente usados em diversas áreas, é importante examinar criticamente suas limitações inerentes
• Este estudo argumenta que as alucinações dos modelos de linguagem não são meros erros, mas uma característica inevitável desses sistemas

A natureza das alucinações

• As alucinações decorrem da estrutura matemática e lógica fundamental dos LLMs
• É impossível eliminá-las por meio de melhorias de arquitetura, aperfeiçoamento de datasets ou mecanismos de verificação factual
• Com base na teoria da computação e no primeiro teorema da incompletude de Gödel, o estudo faz referência à indecidibilidade de problemas como o problema da parada, o problema do vazio e o problema da aceitação

Alucinações em todas as etapas do processo dos LLMs

• Há probabilidade de ocorrência de alucinações em todas as etapas: coleta de dados de treinamento, recuperação de fatos, classificação de intenção e geração de texto
• O estudo introduz o conceito de alucinação estrutural, estabelecendo-o como uma característica intrínseca desses sistemas

Conclusão

• Ao estabelecer a certeza matemática das alucinações, o estudo desafia a noção vigente de que seria possível mitigá-las completamente

Resumo do GN⁺

• Este estudo demonstra matematicamente que as alucinações dos LLMs são inevitáveis, enfatizando que não podem ser totalmente eliminadas
• Explica a natureza das alucinações por meio da teoria da computação e do teorema da incompletude de Gödel
• Mostra que alucinações podem ocorrer em todas as etapas dos LLMs
• O estudo sugere que é importante compreender as limitações dos LLMs e aceitá-las

[GN⁺]

Opiniões no Hacker News

• Ao provar alucinações por meio de certeza matemática, desafia a noção anterior de que elas podem ser totalmente resolvidas

  • Como o termo "alucinação" passa a percepção de que há um problema no funcionamento normal do modelo, escolher outro termo poderia ter evitado mal-entendidos
  • Alucinação não é um mau funcionamento do modelo, mas um juízo de valor de que o texto gerado não atende ao objetivo
  • Reduzir alucinações e criar "alinhamento" são o mesmo problema

• A alucinação é o resultado de dizer a primeira resposta possível para uma pergunta

  • Humanos já responderam anteriormente à maioria das perguntas, lembram dos erros e não os repetem
  • Humanos pensam antes de falar e relacionam a reação inicial com outros conhecimentos
  • Não se deve esperar que um LLM gere imediatamente a resposta correta
  • O processo de pensamento humano tem vários papéis e personas
  • Só depois que uma resposta inicial em "rascunho" é formada é que contexto adicional é gerado
  • Avaliar a inteligência com base na primeira "resposta intuitiva" do LLM é um julgamento equivocado

• A arquitetura atual tem "alucinação" inerente de forma fundamental, o que limita seu uso prático

  • Este artigo apresenta um limite impossível de "não alucinar"
  • Reafirma os limites fundamentais de sistemas formais e computação mecânica
  • Esse limite também se aplica aos humanos

• A alucinação em LLMs está relacionada à forma como o conhecimento é representado

  • Mesmo quando alucina, o modelo ainda gera texto plausível conforme foi treinado
  • Depende de padrões gerais dos dados de treinamento, isto é, gramática e escolha de palavras
  • Com mudanças adequadas na arquitetura, o problema das alucinações pode ser resolvido
  • No entanto, ainda não se sabe se essas mudanças seriam compatíveis com o treinamento eficiente de modelos

• Dados de treinamento incompletos não são algo sem valor de medir

  • Dados incompletos são a própria essência do aprendizado
  • Se houvesse dados completos, aprendizado de máquina não seria necessário; bastaria criar uma função que mapeasse entrada para saída
  • Aprendizado de máquina consiste em preencher lacunas com base em previsão
  • O mesmo se aplica à inteligência e ao aprendizado humanos
  • LLMs sempre vão alucinar, mas humanos também sempre alucinam
  • O verdadeiro problema é fazer com que LLMs alucinem como humanos

• LLMs vão se tornar como "sistemas especialistas"

  • Recomenda-se não se limitar a se definir como especialista em AI

• Para trabalhar de forma eficaz com LLMs, é necessário ter a habilidade de usar uma tecnologia inerentemente não confiável e não determinística

  • Muitas pessoas têm dificuldade para superar esse obstáculo

• Agora é hora de a bolha estourar

• Não precisamos "aceitar" os LLMs

  • Podemos não usá-los, ignorá-los ou nos opor à sua disseminação e aceitação

• Este artigo foi mal escrito, e há pouca confiança de que tenha sido desenvolvida uma teoria matemática significativa

  • Exemplo: as primeiras 10 páginas não dizem nada de significativo