- Julien Crockett conversa com Ted Chiang sobre temas amplos, como a natureza da linguagem, o estado atual da IA e os rumos do avanço tecnológico
- Esta conversa faz parte da série “The Rules We Live By”, que trata de como os seres humanos devem viver em meio a regras em transformação
- Ted Chiang é um escritor de ficção científica e pensador conhecido por apontar com precisão os limites dos modelos de aprendizado de máquina, desenvolvendo sua obra a partir da combinação entre linguagem e questões filosóficas
Linguagem, ideias e a motivação criativa de Ted Chiang
- Ao conceber uma nova história, Chiang primeiro se pergunta: “há alguma questão filosófica interessante aqui?”
- Quando uma ideia permanece em sua mente por muito tempo, ele reflete se é possível revelar um dilema filosófico por meio dela
- Ele afirma que a ficção científica (FC) é especialmente adequada para tratar de questões filosóficas
- Assim como os experimentos mentais da filosofia frequentemente partem de situações extremas diferentes da realidade, a FC também cria mundos fora do real para destacar um tema
Linguagem e a busca por uma “linguagem perfeita”
- Algumas pessoas acreditavam que seria possível alcançar uma comunicação perfeita por meio de uma “linguagem perfeita”; no passado, imaginava-se a língua usada no Jardim do Éden ou a língua dos anjos
- A linguística moderna enfatiza que a ligação entre as palavras e seus significados é “arbitrária”, tratando a noção de uma linguagem perfeita como uma ilusão
- À pergunta “a matemática poderia ser uma linguagem melhor?”, Chiang responde que, embora a matemática seja precisa em certos domínios, ela não é adequada para abranger toda a comunicação cotidiana humana
Humanos e ferramentas: a armadilha da metáfora do computador
- No passado, o cérebro era comparado a uma complexa central telefônica; hoje, há uma tendência a compará-lo a um computador (hardware + software)
- Chiang aponta que, ao contrário de órgãos biológicos como o fígado ou o coração, o cérebro não tem uma separação entre software e hardware, e simplificá-lo como um computador gera mal-entendidos
- Ao superestimar computadores como “máquinas pensantes”, corre-se o risco de atribuir significado excessivo a máquinas que, na prática, apenas lidam com padrões estatísticos
IA, grandes modelos de linguagem (LLMs) e o problema do “desfoque” da informação
- Chiang descreve os LLMs como um “JPEG borrado do texto que existe na internet”
- Um mecanismo de busca mostra o texto original diretamente, enquanto um LLM comprime e reconstrói enormes volumes de texto para gerar uma resposta “aproximada”
- Nesse processo, a precisão diminui e também não são fornecidos links para as fontes, o que limita a verificação dos fatos
- Ele considera que, mesmo com mais dados e mais poder computacional, será difícil para os próprios LLMs chegarem a um “raciocínio real” ou a uma “compreensão do mundo”
- Ele também menciona o problema de confundir uma “ferramenta de IA bem construída” com um “LLM”
- Mesmo adicionando um mecanismo de busca ou uma calculadora a um LLM, ele ressalta que o risco de gerar saídas fundamentalmente erradas não desaparece
Criação e intenção: sobre a afirmação de que “a IA faz arte”
- Chiang vê a arte como um “processo em que o contexto importa”
- O simples fato de o resultado parecer bom não garante, por si só, que se trate de uma grande obra de arte
- O uso de ferramentas pode ser um meio de expressão do artista, mas a mentalidade de que “com IA é possível produzir rapidamente apenas boas obras” dilui a essência da arte
- Como a sociedade contemporânea valoriza eficiência e redução de custos, cresce também a tendência de enxergar a arte como algo produzido em massa, como numa fábrica
- Isso leva a uma cultura que ignora a “intenção” e o “contexto” que a arte deveria carregar
Uma visão cética sobre o “problema do alinhamento”
- Chiang critica a abordagem do “problema do alinhamento” — alinhar a IA com valores e objetivos humanos — como se fosse uma solução puramente técnica
- Ele aponta que, se grandes empresas usam IA para maximizar lucros, então, caso uma IA “ética” entre em conflito com o lucro corporativo, a empresa simplesmente não a usará
- Essa questão não se resolve apenas com melhorias algorítmicas; ela está ligada a estruturas sociais e éticas mais fundamentais
- Até a ideia de ensinar valores à IA como se ela fosse uma criança é uma tarefa nada simples, já que, assim como crianças reais, seu comportamento pode mudar ao atingir a maturidade
IA e a possibilidade de “criar vínculos”
- Chiang considera que, no nível tecnológico atual, a IA não possui “experiência subjetiva” nem “preferências espontâneas”
- Há uma grande diferença entre tratá-la como ferramenta ou animal de estimação e, de fato, estabelecer uma relação recíproca com ela
- Se empresas embalarem a IA como uma “entidade com personalidade”, há o risco de que os usuários acabem agindo de modo alinhado aos interesses corporativos
A vitalidade de existências digitais: 「O ciclo de vida dos objetos de software」
- Em uma de suas histórias, seres digitais são retratados como entidades pelas quais os humanos devem assumir responsabilidade, porque possuem verdadeira experiência subjetiva e desejos próprios
- Ele argumenta que, para criar existências digitais com verdadeira “autonomia” e “sensibilidade”, a arquitetura atual dos LLMs não basta
- A metáfora é que apenas mais parâmetros ou processamento mais rápido não transformam algo em um “ser que sente”
Memória e verdade: implicações de 「A verdade dos fatos, a verdade dos sentimentos」
- Na história, uma tecnologia chamada Remem permite registrar perfeitamente o passado e reproduzi-lo a qualquer momento
- Chiang destaca os efeitos que uma tecnologia capaz de proporcionar “memória exata” teria nas relações humanas reais
- Conhecer a verdade em si é importante, mas depois disso ainda são necessários outros elementos, como perdão e reconciliação
- Como exemplo histórico, ele cita a Comissão de Verdade e Reconciliação da África do Sul, sugerindo que o sentido pleno só se completa com reconhecimento, pedido de desculpas e um processo de restauração comunitária
Futuro e otimismo
- Chiang não divide sua atitude diante do avanço tecnológico em simples otimismo ou pessimismo
- Tanto o otimismo de “vai dar tudo certo de qualquer jeito” quanto o fatalismo de “já está tudo perdido” são perigosos
- Só é possível esperar avanços significativos se refletirmos antecipadamente sobre os problemas previsíveis e nos prepararmos para eles
- Em especial, ele se mostra cético em relação à estrutura do capitalismo, na qual a tecnologia concentra enorme riqueza nas mãos de um pequeno grupo
- Ele observa que seria muito mais promissor se encontrássemos formas de fazer com que novas tecnologias beneficiassem a todos, em vez de aprofundar a desigualdade
Encerramento
- Ted Chiang defende que, em uma situação em que linguagem, tecnologia e valores humanos estão intrinsecamente entrelaçados, é preciso distinguir entre “ferramentas criadas pela tecnologia” e “vida realmente existente”
- Essa distinção exige reflexão filosófica e social, sendo um problema que não pode ser resolvido por uma abordagem meramente de engenharia
- Ao longo de toda a entrevista, Chiang enfatiza que, para preservar nossa humanidade em meio ao avanço da linguagem e da tecnologia, é necessária uma mudança de perspectiva mais fundamental
Leituras relacionadas recomendadas pela LARB
- A coletânea de contos de Ted Chiang, 『Exhalation: Stories』, permite examinar em profundidade a relação entre humanos e tecnologia
- Conversas com Alison Gopnik e Melanie Mitchell podem ajudar a refletir sobre como a IA aprende e que tipo de responsabilidade os humanos devem assumir
1 comentários
Opiniões do Hacker News
A perspectiva perspicaz de Chiang aparece na discussão sobre o significado da magia. No entanto, sua visão sobre a real capacidade de raciocínio dos LLMs levanta dúvidas. Surge a questão de se, quando uma IA prova um teorema, isso é apenas uma prova simulada
Imaginar que uma impressora pode sentir dor não faz sentido. Isso é usado como exemplo para explicar a diferença entre a IA realmente sentir algo e apenas simulá-lo
No futuro, pode haver debates políticos sobre direitos da IA, e é possível que sejam desenvolvidas técnicas capazes de distinguir se uma IA realmente pensa e sente. No entanto, alguns humanos podem não ter a sequência genética para a inteligência real
Ted Chiang é um autor de ficção científica que prioriza a humanidade acima da tecnologia, e suas obras são indicadas para quem gosta de contos com elementos científicos, sociais e filosóficos
"Axiomatic", de Greg Egan, também é recomendado como uma antologia com ideias originais
Ted Chiang é um dos melhores autores de contos de ficção científica, e sua obra é extremamente inteligente e explora diversos temas. "Understand" e "Exhalation" são trabalhos representativos dele
As histórias de Chiang são excelentes, mas seu entendimento sobre LLMs é limitado. Sua afirmação de que LLMs são inferiores aos motores de busca na recuperação de informações está claramente errada
A escrita de Ted Chiang é intelectualmente divertida, e sua coletânea de contos "Exhalation" é especialmente recomendada
Histórias como "Division by Zero" são muito mais desejáveis do que a forma atual de criar crianças como se fossem robôs
A visão otimista sobre o avanço tecnológico diminui, já que a tecnologia costuma ser usada para acumulação de riqueza. Impedir a criação de riqueza não é a forma de resolver a injustiça
As analogias de Ted Chiang tornam prazerosa a exploração de questões filosóficas. Sua obra ajuda a escapar da realidade
A expressão "LLMs são o JPEG borrado da web" continua marcante desde os primeiros dias do ChatGPT. Seu texto sobre por que a IA não pode criar arte também é bom
A IA é usada como ferramenta de acumulação de riqueza para certos grupos, e Ted Chiang também tem uma visão semelhante
Imaginar que uma impressora pode sentir dor não faz sentido. O cérebro humano não tem receptores de dor, e isso é usado para explicar a diferença entre o aprendizado da IA e o aprendizado humano
LLMs são como motores de busca que reconstroem e apresentam informações. Isso levanta a questão de como isso difere do aprendizado humano. Se o treinamento de modelos for semelhante ao treinamento humano, isso pode afetar a questão dos direitos de propriedade intelectual sobre obras derivadas