Por que os modelos de linguagem alucinam? por OpenAI

O problema da confiabilidade dos sistemas de IA

1. Esforços para melhorar a utilidade e a confiabilidade dos sistemas de IA

   • A OpenAI está trabalhando para tornar os sistemas de IA mais úteis e confiáveis.
   • Apesar desses esforços, um dos problemas que continua difícil de resolver, mesmo à medida que os modelos de linguagem se tornam mais capazes, é a alucinação (hallucinations).

2. Definição de alucinação e seus problemas

   • Alucinação significa que uma resposta gerada pelo modelo com confiança não corresponde aos fatos.
   • Esse fenômeno é um problema importante que pode reduzir a confiabilidade dos sistemas de IA.

3. Resultados de pesquisa e causas das alucinações

   • Um novo artigo de pesquisa argumenta que a razão pela qual os modelos de linguagem alucinam é que os procedimentos padrão de treinamento e avaliação recompensam o chute em vez de reconhecer a incerteza.
   • Isso aumenta a possibilidade de os modelos de IA gerarem informações incorretas.

4. Alucinações no ChatGPT e no GPT-5

   • O ChatGPT também apresenta alucinações.
   • No GPT-5, especialmente durante o raciocínio, as alucinações diminuíram consideravelmente, mas ainda podem ocorrer.
   • Isso sugere a necessidade de pesquisa e melhorias contínuas para aumentar a confiabilidade dos sistemas de IA.

Definição de alucinação

• Alucinação é uma afirmação plausível, porém incorreta, gerada por um modelo de linguagem.
• Essas alucinações podem surgir de formas inesperadas e ocorrer até mesmo em perguntas simples.

Exemplos de alucinação

• Por exemplo, quando se perguntou a um chatbot amplamente usado qual era o título da tese de doutorado de Adam Tauman Kalai, o chatbot apresentou com confiança três respostas diferentes.
• No entanto, todas as respostas apresentadas estavam erradas.

Problemas dos métodos de avaliação

• Os métodos atuais de avaliação estão criando incentivos errados.
• A avaliação em si não causa diretamente alucinações, mas a maior parte das avaliações mede o desempenho dos modelos de uma forma que incentiva o chute e desestimula a honestidade sobre a incerteza.
• Por exemplo, pense em uma prova de múltipla escolha: se você não souber a resposta e simplesmente chutar, pode acertar por sorte.
• Esse tipo de abordagem cria um ambiente em que é possível melhorar o desempenho por meio de chutes aleatórios, em vez de uma avaliação precisa.

Como o desempenho dos modelos é avaliado

1. Conceito de avaliação de desempenho do modelo
   A avaliação do desempenho do modelo é feita com base na exatidão das respostas para perguntas dadas.

2. Tratamento da incerteza
   Se o modelo não souber a resposta para uma determinada pergunta, responder “não sei” não garante uma pontuação precisa.

3. Possibilidade de chute
   Por exemplo, se o modelo chutar “10 de setembro” ao responder a uma pergunta sobre o aniversário de alguém, poderá acertar com probabilidade de 1/365.

4. Diferença nas pontuações de desempenho
   Em milhares de perguntas de teste, um modelo que chuta pode aparecer melhor no placar do que um modelo cauteloso que reconhece sua incerteza.

Conclusão e implicações

• Limitações da avaliação de desempenho dos modelos
  Um modelo que chuta pode registrar uma pontuação mais alta, mas é importante observar que isso não significa que ele esteja realmente fornecendo informações corretas.

• Importância da confiabilidade
  Portanto, ao avaliar a confiabilidade e a precisão dos modelos, é preciso considerar a importância de fornecer informações corretas, e não apenas pontuações simples.

Comparação entre precisão e taxa de erro dos modelos

• Precisão: o modelo mais antigo OpenAI o4-mini mostra um desempenho ligeiramente melhor.
• Taxa de erro: no entanto, a taxa de erro desse modelo (ou seja, a taxa de alucinação) é consideravelmente alta.
• Chute estratégico: chutar de forma estratégica quando há incerteza melhora a precisão, mas aumenta os erros e as alucinações.
• Critério de avaliação: ao calcular a média dos resultados de dezenas de avaliações, a maioria dos benchmarks enfatiza métricas de precisão. Isso leva a uma falsa dicotomia entre certo e errado.

Uma nova abordagem para a avaliação

1. Apresentação do problema
   Os métodos tradicionais de avaliação focam apenas na precisão. Isso pode atuar como um fator que reduz a confiabilidade da avaliação.

2. Proposta de solução
   É possível adotar uma abordagem que aplique penalidades maiores para erros cometidos com confiança e penalidades menores para incerteza. Isso pode tornar a avaliação mais justa.

3. Concessão de pontuação parcial
   É importante atribuir pontuação parcial para expressões adequadas de incerteza. Isso oferece aos alunos a oportunidade de expressar seu próprio raciocínio.

4. Tendências de pesquisa
   Vários grupos de pesquisa estão explorando formas de avaliação que consideram incerteza e calibração. Essa abordagem pode propor novos critérios que vão além da precisão da avaliação.

Entendendo as causas das alucinações

• Alucinação é o fenômeno em que ocorre uma determinada imprecisão factual.
• A origem dessas imprecisões está no processo de aprendizado dos modelos de linguagem.
• Modelos de linguagem aprendem por meio de pré-treinamento (pretraining), prevendo a próxima palavra com base em grandes volumes de texto.
• Diferentemente de problemas tradicionais de aprendizado de máquina, cada afirmação não vem acompanhada de um rótulo de “verdadeiro/falso”.

A persistência do problema das alucinações

• Há várias razões pelas quais é difícil eliminar as alucinações.
• A forma como os modelos de linguagem aprendem desempenha um papel importante nas causas das alucinações.
• Como esse método de aprendizado não fornece informações corretas de forma garantida, alucinações podem ocorrer.
• A especificidade e a complexidade das alucinações estão profundamente relacionadas aos dados de treinamento dos modelos de linguagem.

A importância da perspectiva estatística

• Este artigo busca esclarecer a essência das alucinações e rebater mal-entendidos comuns.
• A intenção é contribuir para a análise e a compreensão do fenômeno das alucinações por meio de uma abordagem estatística.
• As alucinações estão intimamente ligadas à precisão dos modelos de inteligência artificial.

Relação entre alucinação e precisão

• Afirmação: existe a crença de que melhorar a precisão eliminaria as alucinações.
• Argumenta-se que um modelo 100% preciso nunca alucinaria.
• No entanto, isso ignora a natureza das alucinações.

Limites da precisão

• Descoberta: a precisão jamais poderá chegar a 100%.
• Razões:
  1. independentemente do tamanho do modelo
  2. independentemente das capacidades de busca e raciocínio
  3. algumas perguntas do mundo real são inerentemente impossíveis de responder.
• Esses limites sugerem que não será possível eliminar completamente o fenômeno das alucinações.

Direções futuras de pesquisa

• Pesquisas futuras devem buscar abordagens alternativas para reduzir as alucinações.
• Além de aumentar a precisão dos modelos, são necessárias diversas metodologias para entender as causas das alucinações e enfrentá-las.
• Uma compreensão mais profunda do fenômeno das alucinações contribuirá para aumentar a confiabilidade da inteligência artificial.

[conanoc]

Mesmo em serviços de chat com modelos de linguagem, daria para usar logprop ou perplexity para mostrar o grau de confiança da resposta, mas imagino que escolham não fazer isso de propósito. Afinal, exibir algo como “esta resposta não é totalmente precisa” toda vez que respondem provavelmente não ajudaria a imagem da marca deles.

[cosine20]

As Redes Neurais Bayesianas são o futuro.

[epdlemflaj]

Ao ver a parte sobre os problemas dos métodos de avaliação,
lembrei de quando, na faculdade, mesmo sem saber nada, eu escrevia um monte de coisa sem sentido na prova
parece que eu já estava gerando alucinações antes mesmo de existirem LLMs;;;