- A avaliação antropomórfica em pesquisas com LLMs levanta o problema de que, ao atribuir ou pressupor atributos humanos às saídas do modelo, a interpretação pode ficar sujeita à forma de apresentação sem um critério de medição
- Um caso de implementação e treinamento de uma rede neural simples dentro de Age of Empires II serve como evidência de que, se o substrato for suficientemente poderoso, é possível implementar uma entidade equivalente a uma LLM
- Algumas propriedades, como a correspondência entre prompt e saída, podem ser preservadas, mas a interpretação do comportamento percebido e a qualidade de desantropomorfização podem variar conforme o substrato
- Se o experimento parte da premissa de existência ou ausência de atributos antropomórficos generalizados, a conclusão tende a se tornar circular ou pouco informativa
- Para uma discussão empírica, são necessários critérios explícitos de medição e uma declaração clara do que deve se generalizar entre substratos; o padrão é assumir a não exclusividade das LLMs
Resumo
- Há muitos estudos sobre LLMs e fluxos de trabalho de agentes baseados em LLM, mas alguns afirmam o surgimento de atributos antropomórficos generalizados, como moralidade ou compreensão de linguagem natural, atribuem esses atributos ou os pressupõem
- O objetivo central não é argumentar a favor ou contra a existência desses atributos em LLMs, mas mostrar que tais conclusões podem estar erradas
- Após criar e treinar uma rede neural simples em Age of Empires II, o texto apresenta que qualquer entidade em um substrato suficientemente poderoso, como LEGO ou a Greater Boston Area, também poderia exibir tais atributos
- Os atributos antropomórficos de LLMs não são empiricamente exclusivos; embora algumas propriedades, como responder a prompts, possam permanecer constantes, outras, como a interpretação do comportamento percebido, podem variar conforme o substrato
- Discussões baseadas em evidência empírica exigem critérios explícitos de medição; caso contrário, a interpretação fica entregue à forma de apresentação
- Pressupor a existência ou a ausência de atributos generalizados independentes do substrato leva, independentemente da perspectiva do pesquisador, a conclusões circulares ou pouco informativas
- A premissa padrão proposta é uma hipótese ‘null’ que assume a não exclusividade das LLMs, em vez de estruturar experimentos pressupondo atributos antropomórficos
- Demonstra-se que Age of Empires II é funcionalmente completo e Turing-complete
Introdução
- LLMs são uma tecnologia relativamente nova, amplamente utilizada e, ao mesmo tempo, ainda pouco compreendida
- Capacidades aparentes, como competência e habilidade de comunicação, são fatores que levam as pessoas a antropomorfizar LLMs
- Sistemas conversacionais convincentes como ELIZA existem há mais de meio século, mas chatbots baseados em LLM são entidades com capacidades sem precedentes que exigem explicação a partir de um ponto de partida familiar
- Nesse contexto, surgiram avaliações em áreas como teoria da mente, aprendizagem e compreensão, e psicologia, com resultados variados
- Alguns estudos testam e atribuem às LLMs atributos amplos de semelhança humana, como ansiedade ou moralidade, colocando as LLMs no centro do experimento
- Independentemente de os resultados da avaliação serem positivos ou negativos, a premissa central de que LLMs possuem atributos antropomórficos afeta o planejamento experimental, do desenho do conjunto de testes à interpretação da saída em linguagem natural e até à hipótese nula
- Essa premissa pode influenciar diretamente as conclusões e distorcê-las
- Em pesquisas com LLMs, a abordagem de pressupor a existência ou ausência de atributos antropomórficos gerais como parte da própria medição é fundamentalmente falha
Age of Empires II e a não exclusividade do substrato
- Implementar e treinar uma rede neural dentro de Age of Empires II pode parecer apenas um exercício curioso sem relação com a antropomorfização de LLMs
- Essa implementação implica imediatamente que, se o substrato for suficientemente poderoso, é possível implementar uma entidade equivalente a uma LLM, e que tal implementação pode alterar a representação da LLM e afetar os atributos percebidos
- Se uma LLM é eficaz o bastante para imitar em algum grau atributos antropomórficos, então essa imitação — ou, dependendo da perspectiva, esse comportamento antropomórfico real — não é algo exclusivo da entidade LLM existente dentro de um computador
- LLMs não são exclusivas; implementações em outros substratos podem preservar algumas propriedades, como o mapeamento entre prompt e saída, mas podem não preservar a qualidade de desantropomorfização
- Como resultado, a percepção e a interpretação dessas qualidades podem mudar
- Discussões baseadas em observação empírica exigem critérios explícitos de medição e uma declaração explícita de quais aspectos devem se generalizar além do substrato
O problema das premissas e a hipótese ‘null’
- Se um cientista adota uma estrutura interpretativa como uma teoria computacional da mente e entende que esse atributo pode existir em um sistema independentemente do substrato, a conclusão se torna frágil
- Se, ao aceitar essa estrutura, forem feitas afirmações generalizadas ou não generalizadas sobre atributos antropomórficos, as conclusões se tornam circulares ou pouco informativas
- O mesmo vale mesmo quando essa estrutura é rejeitada
- É falho tentar testar uma hipótese que pretende provar ou refutar a existência ou ausência de atributos antropomórficos generalizados assumindo previamente essa própria existência ou ausência
- Conclusões positivas ou negativas obtidas em experimentos desse tipo não sustentam a afirmação em questão
- Esse problema é independente da validade da estrutura, de sua aceitação ou rejeição, e da escolha da estrutura em si
- Essas premissas podem nem sempre aparecer de forma explícita; por exemplo, um artigo que afirma que uma LLM não é capaz de, de forma factual, ‘explicar a si mesma’ já pressupõe certo grau de autoconsciência
- Se não se reivindicar generalização nem se fizer esse tipo de premissa, o atributo em questão pode ser medido de forma aproximadamente fiel
- A hipótese ‘null’ reflete a não exclusividade das LLMs ao não fazer nenhuma afirmação sobre a presença ou ausência de atributos antropomórficos dentro do sistema
1.1 Contribuições
- O objetivo não é discutir se atributos antropomórficos existem ou não em LLMs, nem a validade da teoria da mente, nem implicações sobre consciência ou o problema mente-corpo relacionado à IA
- A discussão sobre a existência desses atributos exige medições bem definidas, e, no caso de consciência ou do problema mente-corpo, não há protocolos experimentais amplamente aceitos nem escolas dominantes
- Também está fora do escopo fornecer uma LLM funcional baseada em Age of Empires II
- O objetivo principal é promover uma discussão sobre as premissas e a precisão dos resultados relacionados à antropomorfização de LLMs
- Em especial, o foco recai sobre casos em que os resultados experimentais usados para sustentar tais conclusões derivam da premissa de existência ou ausência desses atributos
- O texto também inclui possíveis objeções e respostas, uma pequena meta-revisão da área relacionada à antropomorfização e uma prova da completude funcional e da Turing-completeness de Age of Empires II
- O objetivo final é oferecer pistas para construir experimentos rigorosos que sustentem ou refutem de forma convincente a existência de atributos antropomórficos em LLMs, qualquer que seja a posição adotada sobre a relação entre mente e máquina
1 comentários
Opiniões no Lobste.rs
Talvez eu esteja falando bobagem, mas não entendi muito bem o argumento. A afirmação básica é bem trivial e, como o FAQ admite, em qualquer ambiente computacional Turing-completo é possível implementar um LLM em qualquer lugar, inclusive nos mecanismos internos de um videogame
Mas a partir daí o texto afirma que precisamos de uma grande mudança na forma de pensar sobre LLMs. Por exemplo, se você copiar um LLM para dentro de AoE II, digitar “estou sozinho” e ele responder “que pena, que tal encontrar um amigo? Proximidade ajuda nessas situações”, isso dificilmente me convence de que esse LLM-no-AoE II saiba o que ajuda, tenha empatia de verdade, ou que a saída seja confiável independentemente da natureza simulada do sistema
Talvez seja um viés meu como alguém acostumado com engenharia de software e hardware, mas não sinto nenhuma mudança cognitiva aqui. “Placas de vídeo em um datacenter geraram este token” e “uma máquina de Turing dentro de um videogame gerou este token” não me parecem diferentes
Concordo 100% que é difícil situar os LLMs dentro do nosso modelo de mundo e que temos uma tendência a antropomorfizá-los em excesso, mas não vejo como este artigo contribui para resolver esse problema
Parece cometer o mesmo erro. Mostra que o sistema — seja a pessoa dentro do quarto chinês, seja o motor do jogo — “apenas” segue regras e então conclui que, por isso, não se pode atribuir inteligência ou atributos humanos gerais a ele
Mas não acho válido argumentar que, ao reduzir algo a peças sem inteligência ou a regras, o todo magicamente perde as propriedades observáveis que possui
Dito isso, não li toda a argumentação do artigo, então sou só mais um comentarista da internet
Infelizmente, o texto não trata da IA real do AOE2. A IA de AOE2 é baseada em CLIPS, que é um sistema especialista em s-expressions sobre um motor RETE, e um conhecido meu mergulhou fundo nisso e fez um texto de introdução, uma aula e até um servidor de chat declarativo
A documentação da IA de AOE2 está em https://www.scribd.com/document/348253/CPSB e https://userpatch.aiscripters.net/reference.html. Exemplos seguem um estilo baseado em regras, definindo condições e objetivos estratégicos, como aqui
Há um erro de digitação no resumo que muda o sentido. Deveria ser “Age of Empires II in”, não “Age of Empires II on”
O artigo construiu e treinou uma rede neural em AoE 2 e argumenta que Lego ou Boston também poderiam servir de substrato para redes neurais. Como exemplo relacionado ao primeiro caso, há Wang tiling, e para o segundo há billiard-ball computers. Isso também foi implementado com enxames vivos de caranguejos-soldado M. guinotae em um artigo de 2011, o que rendeu o apelido de “crab computers”
Hoje aprendi que AOEII é Turing-completo
Isso poderia ter sido um post de blog interessante, mas em vez disso virou um artigo pretensioso e difícil de ler, provavelmente financiado com dinheiro público, e que não ajuda ninguém
Li este parágrafo e me arrependi de não ter seguido minha intuição inicial de que não valeria a pena ler
Tenho formação em filosofia da mente e, vendo as citações do capítulo 2, imaginei que tipo de argumento o artigo faria. Mas depois de ler tudo, continuo sem fazer ideia de que argumento esse artigo afinal está tentando apresentar