- A alucinação em LLMs não é um erro de algumas situações, mas uma característica intrínseca do sistema; quanto mais amplo for o seu uso, mais necessário será julgar partindo dessa limitação
- Como a alucinação decorre de uma estrutura matemática e lógica, é difícil eliminá-la completamente apenas com melhorias de arquitetura, dataset e fact-checking
- A análise se baseia na teoria da computação e no Primeiro Teorema da Incompletude de Gödel, fazendo referência a problemas indecidíveis como Halting Problem, Emptiness Problem e Acceptance Problem
- Em cada etapa, como composição dos dados de treinamento, recuperação de fatos, classificação de intenção e geração de texto, permanece uma probabilidade diferente de zero de produzir alucinação
- “Structural Hallucinations” trata a alucinação como uma propriedade estrutural inerente ao interior dos LLMs e desafia a noção de que a mitigação completa seja possível
Limites estruturais das alucinações em LLMs
- Quanto mais os LLMs forem amplamente usados em vários domínios, mais precisamos examinar criticamente as limitações inerentes do modelo
- A alucinação não é um erro acidental, mas algo próximo de uma característica inevitável dos sistemas LLM
- Nessa perspectiva, não é possível eliminar as alucinações apenas com modelos melhores, datasets maiores ou ferramentas externas de verificação
Por que é difícil eliminá-la completamente
- A alucinação surge da estrutura matemática e lógica dos LLMs
- É difícil removê-la por completo apenas com melhorias de arquitetura, dataset e mecanismos de fact-checking
- A análise utiliza a teoria da computação e o Primeiro Teorema da Incompletude de Gödel
- Como problemas indecidíveis relacionados, são apresentados Halting Problem, Emptiness Problem e Acceptance Problem
A possibilidade de alucinação que permanece em cada etapa do processamento
- Em todas as etapas do processo de um LLM existe uma probabilidade diferente de zero de gerar alucinação
- composição dos dados de treinamento
- recuperação de fatos
- classificação de intenção
- geração de texto
- Mesmo que uma etapa específica seja reforçada, a possibilidade de alucinação não desaparece do sistema como um todo
Structural Hallucinations
- “Structural Hallucinations” é um conceito que vê a alucinação como uma propriedade inerente ao sistema LLM
- Ele enfatiza a inevitabilidade matemática da alucinação e entra em conflito com a noção anterior de que seria possível mitigá-la completamente
- Na prática, a alucinação em LLMs deve ser tratada não como algo a ser totalmente eliminado, mas como uma restrição sempre presente
1 comentários
Opiniões no Hacker News
Talvez o mal-entendido pudesse ter sido evitado se não tivessem dado o nome de hallucination ao conceito de “criar informações falsas durante a geração probabilística de texto”
A palavra faz parecer que algo deu errado durante o funcionamento normal do modelo, mas, na prática, o funcionamento normal do modelo é produzir texto plausível
“Alucinação” não é uma falha do modelo, e sim um juízo de valor que nós aplicamos ao texto resultante; significa apenas que aquele texto não serve ao propósito
Por esse ponto de vista, mitigação de alucinações e alinhamento são praticamente o mesmo problema, então é difícil resolver só um deles separadamente
Se levarmos o sentido da palavra “alucinação” ao pé da letra, o modelo está sempre alucinando; quando, por acaso, ele produz algo objetivamente verdadeiro, nós apenas não chamamos aquilo de alucinação
Se o artigo organizou essa questão de definição de forma útil, pode ser uma boa contribuição
Ele pode fazer o problema parecer um “bug” temporário, e não uma limitação essencial da própria tecnologia, obscurecendo sua verdadeira natureza para investidores e compradores
Humanos também inventam coisas o tempo todo, e inventam coisas muito mais absurdas que a IA, então também seria preciso perguntar se os humanos são realmente inteligentes /não é totalmente uma piada
Acho que alucinação está mais próxima do resultado de dizer em voz alta a primeira resposta possível que vem à mente quando se recebe uma pergunta
Humanos normalmente não fazem isso. Eles têm lembranças de já terem errado em perguntas parecidas e, antes de falar, comparam a resposta com outros conhecimentos, fazendo internamente uma checagem de bom senso
Por isso, em vez de esperar que um LLM produza imediatamente a resposta correta, é preciso dar espaço para reflexão
O pensamento humano muitas vezes também chega a uma resposta depois de um debate interno e de compromissos entre vários papéis e personas; só depois que um “rascunho” inicial surge é que conseguimos imaginar contexto adicional, como as consequências de dizer aquela resposta
Portanto, avaliar a inteligência de um LLM apenas pela primeira “reação intuitiva” a um prompt pode ser uma abordagem equivocada
Inventar uma história exige esforço; sem treino, a maioria das pessoas nem faz isso muito bem. Algumas pessoas fazem isso naturalmente, mas em geral isso é visto como um transtorno
LLMs não têm o conceito de “não sei”; eles apenas escrevem aquilo que melhor se ajusta aos dados de treinamento. Como não há muitos “não sei” nos dados de treinamento, essa também não é uma resposta natural
Perguntei uma lista de bares de uma cidade pequena, e ele inventou tudo de forma plausível: nomes, endereços e números de telefone. Se você forçasse uma pessoa comum que não conhece bem essa cidade a dar uma resposta plausível sem dizer “não sei”, ela acabaria conseguindo inventar algo, mas esse definitivamente não seria seu primeiro pensamento
LLMs não têm intuição nem vivenciam o tempo. Eles não são uma criança nervosa chutando qualquer resposta porque o tempo da prova está acabando; são produto de um desenvolvimento de software que abandonou mais de meio século de tradição de fazer computadores produzirem respostas corretas e passou a perseguir vibes
As partes responsáveis por percepção sensorial e raciocínio interagem com as partes que lidam com memória, e diferentes tipos de memória fazem conciliações entre si. Memórias que fazem sentido podem ficar mais fortes que algo visto por acaso
LLMs não parecem fazer isso e, por projeto, são mais fracos que o cérebro na mitigação de alucinações
Uma direção de pesquisa inspirada no cérebro seria observar quais partes parecem anormais em pessoas que têm alucinações no cérebro e seus modelos de funcionamento, para ver se isso pode ser aplicado a LLMs
A ideia de aplicar modelos de estruturas como o hipocampo a redes neurais já vem sendo explorada por vários pesquisadores
Acho que a arquitetura atual é fundamentalmente cheia de alucinações, o que limitará severamente usos práticos, especialmente aqueles prometidos por expectativas exageradas
Dito isso, este texto coloca o critério de “não alucinar” em um nível impossivelmente alto
Ele basicamente reafirma limites fundamentais bem conhecidos dos sistemas formais e da computação mecânica, para então apresentar a conclusão óbvia de que LLMs compartilham esses limites
A menos que se recorra a dualismo ou a algo como hipercomputação quântica especulativa, esses limites também se aplicam em grande medida aos humanos
A propriedade interessante dos LLMs vem do fato de que eles conseguem inventar algo e ainda assim torná-lo plausível
Ele via matéria e mente como ambas reais, mas não dualistas, e acreditava que há uma transição suave e contínua entre elas
Ainda assim, seja qual for a natureza da mente e da matéria, há evidências convincentes de que humanos criam significado em símbolos por meio do processo que Peirce chamou de semiose (semiosis)
Ainda não temos uma semiótica que formalize isso adequadamente, e nessa área há muita filosofia aplicada matematicamente interessante, mas também muita bobagem acadêmica
Até conseguirmos fazer isso, será difícil criar autômatos que realizem semiose, e por enquanto continuará existindo uma diferença qualitativa entre as capacidades humanas e as dos LLMs
Não posso dizer que testei todos os modelos, mas a maioria falha muito rápido em pedidos como “explique um processo em que três entidades interagem”
Com duas, eles geralmente dão conta, mas acabam girando em torno das mesmas frases ou, em muitos modelos, começam a repetir parágrafos inteiros; três parece ser completamente demais
LLMs talvez tenham um papel em áreas em que vale queimar dinheiro para produzir algo “provavelmente errado na maior parte do tempo, mas barato de verificar, então talvez dê para aproveitar alguma boa ideia”
Medir dados de treinamento incompletos não parece fazer muito sentido
Para começo de conversa, aprender não é justamente lidar com dados incompletos? Se os dados fossem completos, não precisaríamos de aprendizado de máquina; bastaria criar uma função que mapeasse a entrada para a saída
Aprendizado de máquina é preencher lacunas por meio de previsão, e o aprendizado em geral também é assim
Portanto, o que essa teoria mira também se aplica à inteligência e ao aprendizado humanos
Dá para dizer que LLMs sempre alucinam, mas humanos também alucinam o tempo todo
O problema real a resolver é como fazer LLMs alucinarem como humanos
Aprendizado de máquina foi projetado para resolver problemas e diferia da IA clássica, que construía algoritmos diretamente, por poder derivar funções a partir de muitos dados
Mas a “inteligência” do aprendizado de máquina atual é diferente do pensamento humano. Humanos não precisam de milhões de exemplos para conhecer um gato; basta ver dois ou três para conseguir identificá-lo depois
Mesmo vendo apenas um gato preto, conseguem reconhecer corretamente outros gatos domésticos como gatos, e basta observar crianças para ver que isso acontece de fato
Inteligência é a capacidade de conceber uma solução sem conhecimento prévio, e quanto mais inteligente é um ser, menos dados ele precisa. Quanto mais nos aproximamos de um sistema mais inteligente, menos dados deveriam ser necessários para produzir efeito, não mais
Em geral, modelos se saem muito melhor na primeira e enfrentam grandes problemas na segunda
A forma atual como LLMs alucinam parece profundamente relacionada à forma como representam conhecimento
Ao olhar para a função de custo, há um motivo para ela ser chamada de log-verossimilhança. O objetivo real não é uma resposta coerente com os conceitos de um modelo robusto da realidade, mas produzir uma sequência de tokens plausível no sentido mais abstrato
Mesmo quando o modelo alucina, ele está fazendo razoavelmente bem aquilo para que o treinamos, recuando implicitamente para padrões mais gerais dos dados de treinamento, como gramática e escolhas simples de palavras, a fim de produzir texto de alta probabilidade
Imagino que uma mudança estrutural adequada poderia resolver completamente, ou quase completamente, o problema das alucinações
Porém, ainda parece uma questão em aberto se seria possível criar um modelo que continuasse eficiente de treinar com esse tipo de mudança
Ainda assim, a pergunta melhor é se dá para obter desempenho bom o suficiente
Para usar LLMs com eficácia, é preciso aprender a usar uma tecnologia fundamentalmente não confiável e não determinística
Muita gente parece mal conseguir atravessar essa barreira
Quando você confia em algo, diminui a necessidade de criar um modelo mental de como aquilo pode enganá-lo e de como reagir, reduzindo a carga cognitiva
Por isso, pelo menos para mim, LLMs são úteis, mas muito estressantes
Talvez esteja na hora de a bolha estourar
Antes ainda, precisamos defini-la, mas, na prática, ninguém sabe o que é AGI. Por isso, ela pode ser qualquer coisa
O fato de Sam não acreditar que a AGI tenha sido alcançada mesmo depois do GPT-3.5, do ChatGPT, do GPT-4 multimodal e do o1(Strawberry) parece indicar que AGI, no fim, significa capturar a criação e o trabalho de bilhões de pessoas, levantar centenas de bilhões de dólares e enriquecer insiders enquanto todos são colocados em um sistema baseado em UBI
Alucinações parecem uma desculpa para dizer que a AGI ainda não foi alcançada. Assim, é possível levantar ainda mais dinheiro para custos de energia de treinamento e inferência de modelos que continuarão alucinando
Só depois que a OpenAI capturar todo o valor e os insiders embolsarem o dinheiro é que eles vão querer o estouro da bolha, em que 95% das startups de IA desaparecem. A OpenAI ficará como exceção
Por isso Terence Tao vê LLMs como algo por volta do nível de um doutorando mediano, e melhorando; já você está apenas esperando que eles morram
Não há necessidade de “conviver com isso”
Basta não usar, ignorar e se opor à disseminação e à adoção. Eu continuarei fazendo isso
Mas o “nós” global quase certamente não vai seguir esse pedido
LLMs seguirão o caminho dos sistemas especialistas
Acho que depois vamos nos perguntar por que achamos que isso seria possível
Eu recomendaria não se prender a uma identidade estreita de especialista em IA. Lá fora vai ficar bem frio em breve
Não concordo — https://arxiv.org/abs/2406.17642
A pesquisa relacionada trata do problema da parada e de problemas computacionalmente intratáveis
Naturalmente, LLMs não conseguem responder a problemas computacionalmente intratáveis
Também não sei por que deveríamos chamar de alucinação responder “isso não pode ser computado” a uma pergunta sobre o problema da parada