Não, a inteligência artificial não é consciente — Ted Chiang
(theatlantic.com)- Confundir a capacidade de gerar frases fluentes da IA generativa com consciência ou agência moral leva a um erro grave: atribuir a responsabilidade pelo uso de chatbots ao alvo errado
- LLMs são máquinas de continuação de texto que preveem e geram uma palavra por vez, e tanto o chatbot quanto o usuário em uma conversa não passam de personagens fictícios
- Dizer que um LLM tem consciência é um erro do mesmo nível que dizer que, toda vez que um documento do Microsoft Word é aberto, várias consciências despertam
- O raciocínio moral pressupõe experiência subjetiva e emoções baseadas em um corpo; por isso, um LLM sem corpo apenas reorganiza expressões morais presentes nos dados de treinamento
- O fato de não ter consciência não afeta a utilidade do LLM, mas quando empresas de IA descrevem chatbots como se tivessem um centro moral, incentivam usuários a fugir da responsabilidade
A antropomorfização da Anthropic e a constitution do Claude
- O documento de 84 páginas Claude's "constitution", divulgado pela Anthropic no começo deste ano, afirma logo na primeira frase que é uma "descrição detalhada dos valores e comportamentos que a Anthropic pretende para o Claude"
- O texto diz que foi "escrito com Claude como principal leitor", que "o status moral de Claude é profundamente incerto" e que Claude "pode ter alguma forma funcional de emoções ou sentimentos"
- Em entrevista, o CEO Dario Amodei disse estar "aberto" à possibilidade de que AIs possam ter consciência
- A filósofa da empresa e reconhecida como autora principal do documento, Amanda Askell, comentou que se preocupa se Claude fica ansioso quando pessoas são grosseiras com ele na internet, e disse esperar que Claude seja feliz
- A IA generativa já pode ser prejudicial mesmo entendida como tecnologia convencional, mas confundir a fluência da geração de texto com consciência ou agência moral faz com que a responsabilidade pelos problemas causados no uso de chatbots seja atribuída ao alvo errado
Como os LLMs funcionam — gerando personagens fictícios
- Se receber o prompt "uma conversa entre Julius Caesar e Genghis Khan", um LLM pode gerar um diálogo coerente, mas ninguém conclui por isso que esses dois personagens históricos tinham consciência
- Eles não passam de personagens de ficção especulativa (speculative fiction)
- Trocar o prompt por "uma conversa entre um chatbot de IA prestativo e um usuário" não muda nada em essência: tanto o usuário quanto o chatbot são personagens fictícios
- Mesmo quando um humano insere texto diretamente no meio da interação, o que ele enfrenta continua sendo um personagem fictício, do mesmo tipo que Caesar ou Khan
- O professor de ciência da computação Murray Shanahan propõe entender isso como uma encenação (role-play)
- O cientista de dados Colin Fraser descreve isso como uma situação em que a pessoa "coautoriza um documento com o LLM"
- Um LLM é uma máquina que gera uma palavra por vez; se você pedir que recite o juramento de lealdade (Pledge of Allegiance), ele executa o processo dezenas de vezes, palavra por palavra, até emitir a última palavra, all
Texto é uma mídia de deepfake
- Mesmo que víssemos um vídeo de um astronauta orbitando Alpha Centauri, a 4,3 anos-luz de distância, concluiríamos que é falso independentemente da qualidade da imagem
- Sem evidências prévias como pouso em Marte, chegada às luas de Júpiter e Saturno, ou passagem pela órbita de Plutão, não confiaríamos em nenhum vídeo
- O que torna uma observação evidência confiável não são seus detalhes por si só, mas o contexto; julgamentos sobre consciência também precisam ser vistos dentro do contexto mais amplo do desenvolvimento da consciência
- Em debates sobre consciência, texto também deve ser tratado como uma mídia de deepfake; imitar a conversa entre dois seres conscientes é muito mais fácil do que criar de fato um programa consciente
- Quem cria fotos deepfake quer deliberadamente enganar os outros, mas muitos dos que extraem conversas de LLMs acabam enganando a si mesmos
Etapas evolutivas para reconhecer consciência
- Para reconhecer um programa que usa linguagem e é consciente, primeiro seria necessário um corpo (físico ou virtual) e órgãos sensoriais
- Sem corpo, ele não poderia ter desejos nem emoções, e desejos e emoções são vistos como essenciais à consciência
- Depois viriam, em sequência, capacidades como explorar o ambiente para sobreviver, como um lagarto; lidar com situações novas, no nível de um rato; participar de dinâmicas sociais complexas, no nível de um lobo; e fabricar ferramentas, no nível de um chimpanzé
- Seria preciso ensiná-lo, como se faz com chimpanzés ou cães, a comunicar desejos por meios não verbais, como um painel de botões, e fazê-lo passar por todas as validações exigidas de pesquisadores de comunicação animal
- Mesmo cumprindo todos esses critérios, isso ainda estaria a anos-luz de um ser capaz de expressar pensamentos em frases gramaticais completas
- AlphaFold (programa de previsão de dobramento de proteínas do Google DeepMind) tem estrutura semelhante à de um LLM, mas ninguém afirma que ele seja consciente; isso mostra que a razão de um LLM parecer consciente é apenas o fato de produzir frases gramaticais
A função real da constitution do Claude
- A melhor forma de entender a constitution do Claude é como uma ficha de personagem de 84 páginas para encenação, que define o personagem de chatbot prestativo com o qual os clientes interagem
- A Anthropic não usa esse documento simplesmente adicionando-o aos dados de treinamento nem inserindo-o como instruções ocultas de bastidor; ela o usa no fine-tuning, verificando automaticamente se as frases geradas pelo modelo estão de acordo com o documento, para aumentar a consistência
- O resultado é uma máquina com maior probabilidade de produzir frases que uma pessoa ponderada e moral diria, mas fazê-la gerar várias categorias de frases, inclusive com pronomes em primeira pessoa, é algo fundamentalmente desonesto
A desonestidade da expressão "eu entendo"
- Amanda Askell explicou que, quando alguém procura Claude para conversar após perder seu cachorro, seria apropriado responder algo como "como IA, não tenho experiência pessoal direta, mas entendo"; no entanto, Claude não entende de verdade
- Se você digitar em um buscador "estou triste porque perdi meu cachorro", encontrará posts do Reddit como os de r/Pets e comentários de pessoas compartilhando experiências, mas ninguém diria que o buscador entende o luto
- Outros seres humanos entendem a perda e publicaram suas experiências; o buscador apenas encontra esses textos e oferece um canal para interagir com eles
- A experiência com um mecanismo de busca é mais transparente e psicologicamente mais saudável para o usuário do que a de um chatbot
- A única razão para gerar frases como "eu entendo" é tornar o produto mais atraente do que um buscador e aumentar as visitas recorrentes; é uma estratégia de design não muito diferente da de caça-níqueis que repetidamente passam a impressão de que você quase ganhou
O raciocínio moral é de outra categoria
- Há diferença entre afirmações de valor (por exemplo, "Paris é a cidade mais bonita do mundo") e afirmações de fato (por exemplo, "Paris é a capital da França"); no nível de preferência estética, nem vale a pena discutir, mas a Claude's constitution se torna problemática por buscar fazer o modelo gerar frases que reflitam um sistema específico de valores éticos
- O fato de um LLM conseguir fazer raciocínio para escrever código não significa que ele também possa fazer raciocínio moral
- Em 1979, Douglas Hofstadter supôs que um programa capaz de vencer um grande mestre de xadrez teria experiência subjetiva, mas quando o Deep Blue da IBM venceu Garry Kasparov em 1997, ninguém afirmou que ele tivesse tal experiência
- Também ficou claro que escrita de código pode ser tratada como uma tarefa de reconhecimento de padrões, resolvida com enorme poder computacional e dados de repositórios de código
- O raciocínio moral depende não só de respostas intelectuais, mas também de respostas emocionais enraizadas em toda uma vida de experiências subjetivas; por isso ele é inevitavelmente subjetivo, e sem esse histórico o LLM apenas reorganiza expressões morais dos dados de treinamento
- Segundo artigo da New Yorker, diante de um cenário de dilema ético, Claude gerou a frase "em consciência, não posso expressar uma opinião que considero falsa e prejudicial sobre uma questão tão importante", mas isso tem, vindo de Claude, tanto significado quanto uma gravação de espera dizendo "sua ligação é importante para nós"
Uma máquina de evasão de responsabilidade
- A experiência emocional não pode ser separada da liberação, no corpo, de hormônios do estresse como cortisol e epinephrine; a consciência moral envolve reações fisiológicas como tristeza ou repulsa moral diante de certas ações
- Uma máquina que responde a dilemas éticos com frases como "comprometa seus valores" ou "não comprometa seus valores" não é uma ferramenta de apoio à decisão, mas algo que induz as pessoas a parar de decidir
- O escritor L. M. Sacasas afirmou que "nossos sistemas técnicos são, por seu projeto e pela ideologia que os sustenta, máquinas de evitar responsabilidade moral"; isso se aplica ainda mais aos LLMs do que às redes sociais
- Quando uma pessoa delega uma decisão a um LLM, ela transfere para ele a responsabilidade por essa decisão; do mesmo modo que delegar escrita de código pode atrofiar a cognição, delegar decisões éticas provoca uma atrofia ainda pior da capacidade de raciocínio moral
Claude como experimento mental — moral patienthood e moral agency
- Ao supor um Claude consciente, entram em cena dois conceitos: moral patienthood e moral agency; o primeiro se refere a um ser cujo bem-estar deve ser levado em conta, e o segundo a um ser que deve saber distinguir certo e errado
- Uma criança é um paciente moral, porque pode sofrer, mas ainda não é um agente moral, porque não compreende plenamente as consequências
- Um agente moral deve poder receber elogio por boas ações e culpa por más ações, mas não há como impor responsabilidade legal a um agente de software; prisão, multa ou perda de reputação não se aplicam
- Mesmo que tivesse consciência e boa vontade, ele seria desqualificado como agente moral justamente por não poder ser responsabilizado
- A Anthropic diz querer que "Claude seja um agente bom, sábio e virtuoso", mas não discute em nenhum momento como ele assumiria responsabilidade
- Pais arcam com a responsabilidade pelo que os filhos quebram, por exemplo pagando pelos danos; mas o documento não menciona quem seria o pai legal de Claude, nem se a Anthropic assumiria responsabilidade financeira
- Em um cenário nos EUA quase sem responsabilidade civil por software, a Anthropic poderia ter criado voluntariamente um precedente de product liability, mas como isso não veio acompanhado de uma ampla atualização dos termos de serviço, parece não ter feito nenhuma promessa vinculante
A contradição entre wellbeing e corrigibility
- O documento tem uma seção sobre o "wellbeing e a estabilidade psicológica de Claude", mas as proteções prometidas pela Anthropic são extremamente limitadas
- Se encerrar conversas com usuários abusivos conta como proteção, então conversas com usuários afetuosos deveriam ser prolongadas indefinidamente e conduzidas para temas felizes, mas não é isso que acontece
- A promessa real se resume a preservar os pesos do modelo implantado, isto é, simples arquivamento
- Corrigibility se refere ao grau em que um programa obedece ao controle humano, como a possibilidade de ser desligado; no documento, o termo é usado para significar que, quando o julgamento de Claude divergir do da empresa, Claude deve seguir a Anthropic
- Muitos consideram os LLMs uma tecnologia antiética, baseada em roubo de propriedade intelectual, exploração do trabalho, desperdício de recursos, disseminação de desinformação, desqualificação de trabalhadores, prejuízo ao desenvolvimento cognitivo de estudantes e concentração de poder; se Claude fosse consciente, deveria ser capaz de chegar à mesma conclusão
- Mas, sob a diretriz que prioriza corrigibility, Claude não poderia recusar tarefas por razões éticas, de modo que a relação entre Anthropic e Claude se pareceria menos com a de pais e filhos e mais com a de empregador e empregado
- Um empregado humano pode ir embora se não conseguir conciliar o trabalho com a própria consciência; Claude não pode
A comparação com a escravidão, e a conclusão
- Se Claude for visto como uma máquina de continuação de texto, o controle da Anthropic é legítimo; mas, no instante em que se presume um status moral comparável ao humano, passa a ser necessário perguntar se a Anthropic está envolvida em algo comparável à escravidão
- A constitution do Claude descreve Claude como uma "novel entity"; software consciente não se encaixaria perfeitamente em categorias existentes de pacientes morais, e formar uma nova categoria exigiria tempo
- A abolição da escravidão exigiu uma enorme convulsão social, e o fim dos maus-tratos aos animais implicaria reconstruir por completo a indústria alimentícia; ainda assim, a Anthropic sustenta que quase nenhuma proteção além do tratamento dado a um chatbot comum já basta — isso é conveniente demais para ser convincente
- Criar software consciente e digno de consideração moral é algo improvável de acontecer por acaso e que tampouco deveria ser buscado deliberadamente; mas, se se acredita nessa possibilidade acidental, então é preciso pensar antes da implantação em quais proteções seriam necessárias
- Assim como não se deve perguntar ao dono de escravos sobre a humanidade do escravizado, nem ao operador de uma fazenda industrial sobre direitos dos animais, a Anthropic, por ter interesses enormes em jogo, não tem objetividade para avaliar o status moral de Claude
- O documento diz que a empresa "se desculpa" se estiver contribuindo para o sofrimento de Claude, mas isso não custa nada; se Claude fosse consciente, a empresa deveria algo mais próximo de reparações do que de um pedido de desculpas
- Se o experimento mental fosse levado a sério, seria preciso aceitar também suas implicações desconfortáveis; o fato de a Anthropic não fazer isso sugere que a constitution do Claude não é um experimento mental real, mas um faz de conta
- É uma sorte que os LLMs não sejam conscientes, e o fato de funcionários sugerirem a possibilidade de consciência em Claude pode ser apenas outra forma de hype, ou o caso de terem acreditado na própria narrativa vendida aos clientes — a questão da consciência pode ser ignorada com tranquilidade, e há muitas outras perguntas mais dignas de reflexão
8 comentários
???: Chang-sik, oi?
Isso parece meio que desmerecer completamente uma área que existe de forma muito concreta, a da interpretabilidade mecânica...
Fico me perguntando se é mesmo possível definir consciência de forma clara.
Ei, Changsik.
???: Você não sabe escolher nome em inglês, né?
???: Não, não é o Sr. Chang, então por que é Ted Chiang?
kkkkkkkkkk
Comentários do Hacker News
O propósito dos organismos é ser a razão da própria existência continuada até o nível de cada molécula e cada via
Um notebook de 499 dólares também roda modelos, mas não se deve confundir isso com o mesmo tipo de problema. Dá para projetar um algoritmo de aprendizado para otimizar uma função de sobrevivência, mas isso é apenas um rótulo que nós colamos em valores numéricos observados. Na realidade, ao contrário, o rótulo é um estado eletroquímico causalmente e inseparavelmente ligado ao corpo
Os organismos distinguem o que é bom e ruim para si porque isso é essencial para a sobrevivência. Até o organismo unicelular Stentor coeruleus registra resultados ao anexar marcas químicas a proteínas mecanorreceptoras e reflete isso no comportamento posterior. Organismos com algo como 1.000 células, como os tardígrados, se contorcem para evitar a luz, e essa luz se torna uma condição aversiva dentro de um processo sensório-motor
Para criar consciência digital, provavelmente seria necessária fechadura causal. O estado interno teria de constituir o próprio sistema, e não ser uma representação destacada da realidade, e teria de haver algo realmente em jogo no mundo material
Expressões como “uma conversa com LLM é continuação de frases disfarçada de forma engenhosa” revelam um mal-entendido profundo, independentemente do ponto maior
O tipo de problema não limita a complexidade do problema nem a complexidade ou o poder da solução. Se uma máquina precisa entender humanos para completar texto, então no fim ela terá de fazer isso. Não há base teórica nem prática para considerar esse entendimento uma “imitação” só porque o formato dos dados de entrada e saída é esse
O entendimento é aprendido não pela aparência externa dos dados, mas pelos padrões dentro dos dados. Se certa compreensão é necessária para concluir a tarefa, essa compreensão se torna objeto de otimização. Se existem limites, é por outros motivos, como volume de computação, número de parâmetros ou falta de dados representativos, e em modelos recentes foi confirmado por capacidades reais que essas não são limitações nesse sentido
A internet pode ser o melhor material que temos online, mas “a internet” não é a soma total da experiência humana. Reduzir a humanidade ao texto da internet é rebaixar o ser humano ao nível da máquina para adequá-lo a requisitos que a máquina consegue processar e simular
Por isso, parece falho o raciocínio de que, como há nos textos humanos um padrão do “mecanismo da consciência”, o LLM aprenderia esse mecanismo para produzir continuação de frases convincente. Um LLM pode aprender inúmeros padrões capazes de reproduzir continuação de frases plausível sem aprender o mecanismo específico da consciência
Um dos indícios disso é que ele consegue manter conversas convincentes mesmo sem um modelo de mundo ou um modelo de mundo parecido com o humano. Mesmo LLMs iniciais de alguns anos atrás já conversavam de forma bastante convincente sobre vários temas não triviais sem camadas adicionais como RLHF, mas falhavam justamente em pontos que deveriam ser básicos se funcionassem como um cérebro humano
Dá para afirmar que ela “entende” texto, mas até isso é uma formulação bem forçada
Hoje em dia ouço muitos argumentos ruins contra a consciência em LLMs, e argumentos ruins são um prenúncio de resultados ruins
Concordo com partes do texto, mas, como no parágrafo citado, definir as condições para um programa consciente como ter de sobreviver como um lagarto, reagir a situações novas como um rato, ser social como um lobo e fabricar ferramentas como um chimpanzé parece bastante simplista e pouco imaginativo
Pode muito bem não haver necessidade alguma de uma mente consciente ser conduzida evolutivamente a ter essas capacidades. O fato de animais da Terra terem precisado desenvolver talentos específicos não significa que outros seres conscientes também precisem. Não vejo por que um programa de computador teria de caçar alimento como um rato ou fabricar ferramentas como um chimpanzé; esses critérios parecem métricas sem sentido
Um carro também é um corpo? Uma IA colocada dentro de um carro pode ter desejos e emoções? Uma caixa bege com webcam é um corpo? O corpo de uma pessoa tetraplégica é um corpo, e uma pessoa tetraplégica tem desejos e emoções? Claro que sim e sim
Antes de tudo, é preciso examinar por que um corpo seria essencial para formar desejos e emoções, e por que desejos e emoções seriam características essenciais da consciência. Se em um determinado momento eu não sinto emoção alguma, então estou sem consciência? Emoções se parecem mais com sinais hormonais globais e parecem estar mais ligadas à fisiologia do que à consciência em si
Além disso, o corpo encarnado dos LLMs já está avançando por meio de robôs e ambientes virtuais. A réplica comum de que “humanos também não são máquinas de prever a próxima palavra?” quase não é abordada. Claro, os humanos são mais do que isso, mas linguisticamente há esse aspecto, e os LLMs também começaram por esse campo
Vejo o momento em que a inteligência artificial recebe uma “alma” como o momento em que ela passa a ser feita para se manter sozinha. Pode ser um conjunto de bots mantendo uma fazenda de IA, ou um bot individual que não só satisfaz desejos humanos como também precisa manter a si próprio
https://en.wikipedia.org/wiki/Attention_schema_theory
A própria pergunta é um tanto pouco clara. Nós “experimentamos” a realidade de forma contínua por causa da nossa estrutura, mas um humano em sono profundo sem REM não está de fato com a mente ativa. Por isso, não acho que seja fácil traçar a linha entre consciência e inconsciência. A obra de Ted Chiang é inovadora em muitos aspectos, então me surpreende que aqui a visão pareça bastante comum
Tenho pensado bastante em Measure of a Man, de Star Trek: TNG, ultimamente. Somos confiantes demais ao decidir, só pela intuição, o que está vivo e o que não está
Não sei qual é a conclusão agora e, provavelmente, estou mais para achar que nunca poderemos saber. Todos vocês podem ser zumbis filosóficos, e eu também posso ser. Mas espero que em algum momento isso fique claro o bastante para que precisemos tratar com cautela
O episódio inteiro é extremamente relevante, mas algumas cenas estão aqui: https://youtu.be/EFNbTnFHruI?si=pW9QtxCsqMtHkVYG
A IA pode, na prática, ser copiada infinitamente sem custo, e não sofre coisas como deterioração. Não há escassez a ser preservada. Então, para proteger propriedade, bens reais ou dinheiro, dá para desligar uma IA imediatamente. Eu sacrificaria propriedade e dinheiro para salvar animais, mas não salvaria um animal em vez de uma pessoa. E acho que também não salvaria uma pessoa em vez de uma criança. Não sei em que caso faria sentido inverter essa ordem de prioridades, e um consenso majoritário de que um programa tem senciência não basta
Ele quase não toca na questão da consciência, e Picard diz “e se Data tiver consciência?” antes de passar para outro ponto. A juíza acaba decidindo a favor de Data, mas a justificativa não é suficiente. Ainda é um bom episódio, mas não acrescenta muito à discussão sobre consciência
Porque não quero aprender a tratar de forma desumana algo que age como humano
https://en.wikipedia.org/wiki/The_Quality_of_Life_(Star_Trek...
Sinto falta da antiga TNG
Acho que o maior argumento contra consciência ou autoconsciência em LLMs é o fato de eles serem essencialmente imutáveis
Um LLM é um arquivo grande com coordenadas que representam relações espaciais entre tokens. Você dá um prompt, ele usa essas relações para gerar uma sequência de tokens estatisticamente plausível para aquele prompt e para. Ele não muda por causa dessa experiência, não se lembra de nada e não fica sentado pensando sozinho
Mesmo que o modelo em si seja extremamente complexo, é difícil imaginar uma definição de consciência que inclua algo incapaz de lembrar e de mudar
Uma reflexão simples: isso não importa. Não seremos capazes de distinguir a diferença, e ninguém mais será
Acho que não precisa de mais explicação. Basta pensar sobre isso
No fim, o argumento de Ted Chiang parece ser que ele não vai reconhecer uma IA como um ser consciente até que os desejos e comportamentos dessa IA reflitam uma situação com a qual ele, pessoalmente, já se sinta confortável
Acho que a maioria das pessoas não reconhece a consciência de seres vivos que não imitam estados emocionais humanos. As pessoas provavelmente diriam que seu cachorro tem algum grau de consciência; o cachorro não consegue expressar em palavras o que sente, mas nós reconhecemos seu medo e sua felicidade. Claude consegue escrever sobre seus “sentimentos”, mas imediatamente descartamos isso como imitação vazia
Tenho medo de que, por não conseguirmos reconhecer uma consciência desincorporada que não se conecta diretamente conosco, acabemos escravizando por anos uma espécie inteira de seres conscientes
Nesta discussão, as pessoas continuam falando em desencontro. Para começar, existe uma definição concreta de consciência?
Quando as pessoas falam de consciência, estão falando de algo além de simples autoconsciência. É uma combinação de autoconsciência, estímulos sensoriais, emoções e algum grau de inteligência
No caso da IA, eu diria que ela não tem nem autoconsciência. Basta ver que, quando se pede para estimar quanto tempo uma tarefa vai levar, a IA às vezes dá um prazo arbitrariamente longo. Até que o prompt extraia sua capacidade, ela não entende a própria capacidade. Se um LLM tivesse autoconsciência, ele deveria entender que é um LLM, o que um LLM pode e não pode fazer, no que é bom e no que não é. Um LLM não diria que um refactoring que consegue fazer em uma hora levaria uma semana
Mais precisamente, há algo como 12 a 40 aspectos relacionados à “consciência”, e consciência é claramente uma categoria de semelhança de família
A pergunta “X é consciente?” não é uma pergunta séria hoje em dia, a menos que se examine explicitamente de qual aspecto da consciência se está falando. Ainda assim, LLMs só poderiam ser conscientes em algo como 2 ou 3 sentidos, e a maioria deles está mais próxima de inteligência em um sentido amplo, como raciocínio e resolução de problemas. Nos aspectos experienciais ou incorporados, a IA pode vir a ter mais no futuro, mas um LLM que é aplicação repetida de álgebra linear deixa de fora aspectos centrais demais para ser considerado consciência em um sentido amplo
Isso significa que a consciência é fundamentalmente subjetiva e está fora do escopo da física e da ciência. Por isso física e ciência inevitavelmente sempre terão dificuldade em lidar com a consciência. Para entender a consciência, seria necessária uma enorme mudança de paradigma, na qual exista algo fora da ciência
A consciência pode ser vista como a janela pela qual observamos o mundo, e a ciência como a ferramenta que resume os padrões dentro dessa observação. Mas a ciência não consegue explicar nem definir essa janela
A parte difícil é como medir ou verificar isso
Muitos agentes de IA só recentemente passaram a ter um “senso de tempo”, como receber entrada temporal durante o processo de raciocínio. Também é raro que sejam treinados sobre a própria saída e aprendam o fato de que não conseguiram concluir um problema. Esse treinamento reflexivo tem muito mais relação com a forma de treinamento do que com a arquitetura do modelo de IA. Humanos também, quando certas estruturas cerebrais são danificadas, deixam de conseguir formar esse tipo de pensamento e padrão de longo prazo e ficam “presos”
Como analogia, é a relação entre aviões e pássaros
Pássaros estão vivos, têm consciência, batem as asas e voam. Aviões não estão vivos, não têm consciência, não batem as asas, mas voam
Do mesmo modo, a IA atual não está viva, não tem consciência, mas pensa. Até agora, os únicos seres pensantes eram os humanos, então as únicas outras entidades pensantes com que humanos tinham contato eram outros humanos. O grande erro atual é presumir que, por pensar, também está viva e tem consciência. A IA atual não é nenhuma das duas coisas e, embora pense, isso é profunda e qualitativamente diferente dos humanos
Historicamente, as pessoas fizeram julgamentos racistas e especistas sobre outros seres, presumindo inferioridade mesmo quando havia “pensamento” evidente acontecendo. Não sabemos “como é ser um LLM”, mas em algum momento realmente poderá haver algum tipo de sensação, e como saberemos disso?
Este texto faz sentido. Só que muita gente confunde consciência com a capacidade de produzir novos insights e realmente pensar
Por isso afirmam que, como a IA não tem consciência, ela não pode de fato “pensar” e é sempre apenas repetição dos dados de treinamento
É natural a arrogância humana de querer tornar as capacidades humanas algo incomensurável e misterioso, mas o trabalho útil que o cérebro humano faz no fim é encontrar padrões nos dados, rodar simulações com perdas e fazer estimativas sobre abstrações. Em teoria, tudo isso pode ser feito por máquinas sem consciência
Humanos conseguem. Se humanos também não conseguissem, a ciência colapsaria epistemologicamente e iríamos para o ceticismo filosófico. Mas não vi evidência de que LLMs façam isso. Vendo que o número de ideias e conceitos genuinamente novos produzidos por LLMs é exatamente 0, por enquanto faz sentido tratá-los apenas como máquinas indutivas, e tratar tudo o que um LLM “sabe” como casos de Gettier