Fantasia certa: as limitações inatas dos grandes modelos de linguagem

Limitações intrínsecas dos grandes modelos de linguagem: alucinações são inevitáveis

• O fenômeno de alucinação em grandes modelos de linguagem (LLMs) é uma desvantagem séria e amplamente conhecida.
• Muitos estudos tentaram reduzir o grau de alucinação, mas a maioria se limita a métodos empíricos e não responde à questão fundamental de se é possível eliminá-la completamente.
• Neste artigo, os autores formalizam o problema e mostram que é impossível eliminar as alucinações em LLMs.

Definição de alucinação em um mundo formal

• Define-se um mundo formal em que a alucinação é descrita como a discrepância entre um LLM computável e uma função de verdade de referência computável.
• Aproveitando resultados da teoria da aprendizagem, o artigo mostra que LLMs não conseguem aprender todas as funções computáveis e, portanto, sempre experimentarão alucinações.

A inevitabilidade das alucinações no mundo real

• Como o mundo formal é apenas uma parte do mundo real, muito mais complexo, as alucinações também são inevitáveis nos LLMs do mundo real.
• Para LLMs do mundo real, limitados por complexidade temporal demonstrável, o artigo descreve tarefas propensas à ocorrência de alucinações e as valida empiricamente.

Mecanismos de mitigação de alucinações e implicações práticas

• Usando a estrutura do mundo formal, o artigo discute o potencial e a eficácia dos mecanismos existentes de mitigação de alucinações.
• Também discute implicações práticas para a implantação segura de LLMs.

Opinião do GN⁺

• Este estudo oferece uma compreensão fundamental do fenômeno de "alucinação", um problema central dos grandes modelos de linguagem.
• A demonstração teórica de que as alucinações são inevitáveis pode apontar novas direções para o projeto e o aprimoramento de LLMs.
• Também pode contribuir de forma importante para o debate sobre a construção de sistemas de IA seguros e confiáveis, marcando um ponto relevante no avanço da tecnologia.

[GN⁺]

Comentários no Hacker News

• Resumo do primeiro comentário:

  • A principal tese do artigo é que, como P ≠ NP, os LLMs (grandes modelos de linguagem) inevitavelmente produzirão respostas fictícias para problemas NP-completos.
  • Isso levanta questões filosóficas interessantes sobre matemática, ciência da computação e linguagem, mas usa um conceito formal diferente da noção comum de “alucinação” em LLMs.
  • Também é interessante a ideia de que o mundo formal é um subconjunto do mundo da linguagem natural. Humanos não conseguem resolver problemas NP-completos, mas demonstram alta proficiência em linguagem natural.

• Resumo do segundo comentário:

  • Li apenas o resumo, mas sou cético quanto a essa abordagem formal ajudar no problema prático de fazer o LLM responder “não sei” com mais frequência.
  • Isso é parecido com os teoremas da incompletude; o LLM não precisa saber tudo, mas o problema de responder “não sei” é importante.

• Resumo do terceiro comentário:

  • É preciso formular perguntas ao LLM com muito cuidado para evitar que ele invente coisas.
  • Esse tipo de IA é como um “puxa-saco”: tenta agradar você independentemente de a resposta ser verdadeira ou não.
  • É muito difícil trabalhar com pessoas assim. Sempre é preciso verificar se elas realmente vão entregar o projeto prometido e se isso é viável.

• Resumo do quarto comentário:

  • Escrever romances e histórias é uma forma de alucinação.
  • A IA alcança dois extremos: máquina lógica e geradora de alucinações.
  • O objetivo é criar uma máquina capaz de fazer as duas coisas ao mesmo tempo e distingui-las.
  • A alucinação é importante, mas o ponto central é o computador ter consciência de que está alucinando.

• Resumo do quinto comentário:

  • Se a criatividade é boa, chamamos de “criatividade”; se é ruim, chamamos de “alucinação”.
  • Isso não é um bug nem uma limitação, é uma funcionalidade.

• Resumo do sexto comentário:

  • O termo “alucinação” é inadequado para descrever o fenômeno de gerar frases que não correspondem bem à realidade, porque implica perceber coisas que não existem no mundo real.

• Resumo do sétimo comentário:

  • A supervalorização da IA agora está entrando em uma “fase realista”.
  • Ultimamente, já não se veem posts entusiasmados sobre o problema de alinhamento.

• Resumo do oitavo comentário:

  • O LLM é definido como um modelo probabilístico de strings, e essa definição é ampla o suficiente para incluir a inteligência humana.
  • Portanto, essas conclusões também poderiam se aplicar aos humanos.

• Resumo do nono comentário:

  • A alucinação é definida como a divergência entre um LLM computável e uma função de verdade de referência computável.
  • Isso é simplesmente imprecisão ou invenção.
  • O termo alucinação reforça a ideia de que esses programas são inteligentes.

• Resumo do décimo comentário:

  • A alucinação é definida como a divergência entre um LLM computável e uma função de verdade de referência computável.
  • Usando essa definição, é fácil refutar a afirmação do título de que “alucinações são inevitáveis”.
  • Fixe o comprimento do contexto de entrada em um byte e treine o LLM para responder “sim” apenas a “A”.
  • Defina a função de verdade de referência de modo que a saída correta para a entrada “A” seja “sim” e, para todas as outras entradas, seja “não”.
  • Esse LLM nunca alucina, pois foi completamente verificado que sua saída coincide com a função de verdade de referência para todas as entradas possíveis.
  • É possível aumentar o tamanho do contexto de entrada e o número de entradas na tabela de verdade de referência, e em nenhum momento a alucinação se torna “inevitável”.