Por que os modelos de linguagem alucinam? por OpenAI

O problema da confiabilidade dos sistemas de IA

1. Esforços para melhorar a utilidade e a confiabilidade dos sistemas de IA

   • A OpenAI está trabalhando para tornar os sistemas de IA mais úteis e confiáveis.
   • Apesar desses esforços, um dos problemas que continua difícil de resolver, mesmo à medida que os modelos de linguagem se tornam mais capazes, é a alucinação (hallucinations).

2. Definição de alucinação e seus problemas

   • Alucinação significa que uma resposta gerada pelo modelo com confiança não corresponde aos fatos.
   • Esse fenômeno é um problema importante que pode reduzir a confiabilidade dos sistemas de IA.

3. Resultados de pesquisa e causas das alucinações

   • Um novo artigo de pesquisa argumenta que a razão pela qual os modelos de linguagem alucinam é que os procedimentos padrão de treinamento e avaliação recompensam o chute em vez de reconhecer a incerteza.
   • Isso aumenta a possibilidade de os modelos de IA gerarem informações incorretas.

4. Alucinações no ChatGPT e no GPT-5

   • O ChatGPT também apresenta alucinações.
   • No GPT-5, especialmente durante o raciocínio, as alucinações diminuíram consideravelmente, mas ainda podem ocorrer.
   • Isso sugere a necessidade de pesquisa e melhorias contínuas para aumentar a confiabilidade dos sistemas de IA.

Definição de alucinação

• Alucinação é uma afirmação plausível, porém incorreta, gerada por um modelo de linguagem.
• Essas alucinações podem surgir de formas inesperadas e ocorrer até mesmo em perguntas simples.

Exemplos de alucinação

• Por exemplo, quando se perguntou a um chatbot amplamente usado qual era o título da tese de doutorado de Adam Tauman Kalai, o chatbot apresentou com confiança três respostas diferentes.
• No entanto, todas as respostas apresentadas estavam erradas.

Problemas dos métodos de avaliação

• Os métodos atuais de avaliação estão criando incentivos errados.
• A avaliação em si não causa diretamente alucinações, mas a maior parte das avaliações mede o desempenho dos modelos de uma forma que incentiva o chute e desestimula a honestidade sobre a incerteza.
• Por exemplo, pense em uma prova de múltipla escolha: se você não souber a resposta e simplesmente chutar, pode acertar por sorte.
• Esse tipo de abordagem cria um ambiente em que é possível melhorar o desempenho por meio de chutes aleatórios, em vez de uma avaliação precisa.

Como o desempenho dos modelos é avaliado

1. Conceito de avaliação de desempenho do modelo
   A avaliação do desempenho do modelo é feita com base na exatidão das respostas para perguntas dadas.

2. Tratamento da incerteza
   Se o modelo não souber a resposta para uma determinada pergunta, responder “não sei” não garante uma pontuação precisa.

3. Possibilidade de chute
   Por exemplo, se o modelo chutar “10 de setembro” ao responder a uma pergunta sobre o aniversário de alguém, poderá acertar com probabilidade de 1/365.

4. Diferença nas pontuações de desempenho
   Em milhares de perguntas de teste, um modelo que chuta pode aparecer melhor no placar do que um modelo cauteloso que reconhece sua incerteza.

Conclusão e implicações

• Limitações da avaliação de desempenho dos modelos
  Um modelo que chuta pode registrar uma pontuação mais alta, mas é importante observar que isso não significa que ele esteja realmente fornecendo informações corretas.

• Importância da confiabilidade
  Portanto, ao avaliar a confiabilidade e a precisão dos modelos, é preciso considerar a importância de fornecer informações corretas, e não apenas pontuações simples.

Comparação entre precisão e taxa de erro dos modelos

• Precisão: o modelo mais antigo OpenAI o4-mini mostra um desempenho ligeiramente melhor.
• Taxa de erro: no entanto, a taxa de erro desse modelo (ou seja, a taxa de alucinação) é consideravelmente alta.
• Chute estratégico: chutar de forma estratégica quando há incerteza melhora a precisão, mas aumenta os erros e as alucinações.
• Critério de avaliação: ao calcular a média dos resultados de dezenas de avaliações, a maioria dos benchmarks enfatiza métricas de precisão. Isso leva a uma falsa dicotomia entre certo e errado.

Uma nova abordagem para a avaliação

1. Apresentação do problema
   Os métodos tradicionais de avaliação focam apenas na precisão. Isso pode atuar como um fator que reduz a confiabilidade da avaliação.

2. Proposta de solução
   É possível adotar uma abordagem que aplique penalidades maiores para erros cometidos com confiança e penalidades menores para incerteza. Isso pode tornar a avaliação mais justa.

3. Concessão de pontuação parcial
   É importante atribuir pontuação parcial para expressões adequadas de incerteza. Isso oferece aos alunos a oportunidade de expressar seu próprio raciocínio.

4. Tendências de pesquisa
   Vários grupos de pesquisa estão explorando formas de avaliação que consideram incerteza e calibração. Essa abordagem pode propor novos critérios que vão além da precisão da avaliação.

Entendendo as causas das alucinações

• Alucinação é o fenômeno em que ocorre uma determinada imprecisão factual.
• A origem dessas imprecisões está no processo de aprendizado dos modelos de linguagem.
• Modelos de linguagem aprendem por meio de pré-treinamento (pretraining), prevendo a próxima palavra com base em grandes volumes de texto.
• Diferentemente de problemas tradicionais de aprendizado de máquina, cada afirmação não vem acompanhada de um rótulo de “verdadeiro/falso”.

A persistência do problema das alucinações

• Há várias razões pelas quais é difícil eliminar as alucinações.
• A forma como os modelos de linguagem aprendem desempenha um papel importante nas causas das alucinações.
• Como esse método de aprendizado não fornece informações corretas de forma garantida, alucinações podem ocorrer.
• A especificidade e a complexidade das alucinações estão profundamente relacionadas aos dados de treinamento dos modelos de linguagem.

A importância da perspectiva estatística

• Este artigo busca esclarecer a essência das alucinações e rebater mal-entendidos comuns.
• A intenção é contribuir para a análise e a compreensão do fenômeno das alucinações por meio de uma abordagem estatística.
• As alucinações estão intimamente ligadas à precisão dos modelos de inteligência artificial.

Relação entre alucinação e precisão

• Afirmação: existe a crença de que melhorar a precisão eliminaria as alucinações.
• Argumenta-se que um modelo 100% preciso nunca alucinaria.
• No entanto, isso ignora a natureza das alucinações.

Limites da precisão

• Descoberta: a precisão jamais poderá chegar a 100%.
• Razões:
  1. independentemente do tamanho do modelo
  2. independentemente das capacidades de busca e raciocínio
  3. algumas perguntas do mundo real são inerentemente impossíveis de responder.
• Esses limites sugerem que não será possível eliminar completamente o fenômeno das alucinações.

Direções futuras de pesquisa

• Pesquisas futuras devem buscar abordagens alternativas para reduzir as alucinações.
• Além de aumentar a precisão dos modelos, são necessárias diversas metodologias para entender as causas das alucinações e enfrentá-las.
• Uma compreensão mais profunda do fenômeno das alucinações contribuirá para aumentar a confiabilidade da inteligência artificial.