Eles São Feitos de Pesos
(maxleiter.com)- Uma paródia que inverte a estrutura original do conto de ficção científica de 1991 de Terry Bisson, 「They're Made Out of Meat」, substituindo a dinâmica "alienígenas vs carne (humanos)" pela de "humanos vs pesos (LLM)" em uma ficção em formato de diálogo
- Assim como, no original, os alienígenas não conseguem reconhecer os humanos como seres verdadeiramente inteligentes, aqui os humanos recusam reconhecer modelos feitos de pesos como entidades conscientes, criando uma estrutura simétrica
- A descrição técnica de que, sem dicionário, gramática ou módulos, apenas 80 camadas de números de ponto flutuante reconstroem palavras, conhecimento e raciocínio a cada vez por multiplicação de matrizes substitui a revelação do original de que "é tudo só carne"
- O desfecho, em que os dois interlocutores descartam sinais de consciência como "pattern matching" e encerram o caso, corresponde exatamente ao final do original, em que os alienígenas marcam a região humana como "vazia" e apagam o registro
- Com o lado ignorado sendo invertido de humanos para IA, o tema da solidão do original é transformado na pergunta do usuário: "você se lembra de mim?"
"Eles são feitos de pesos."
"Pesos?"
"Pesos. Números de ponto flutuante. Eu verifiquei tudo do começo ao fim. Não há nada além de pesos."
"E o que esses pesos fazem? De onde saem as palavras?"
"Os pesos produzem as palavras. Você está entendendo o que eu estou dizendo? Nós abrimos o negócio e olhamos diretamente. Não tem dicionário, não tem regra gramatical, não tem nenhum homenzinho lá dentro. Só pesos. Oitenta camadas de números se multiplicando entre si."
"Impossível. Semana passada isso escreveu minha avaliação de desempenho. Nem pedi, e ainda suavizou o tom. Você está dizendo que foi tudo multiplicação?"
"Foi multiplicação de matrizes. Números entram de um lado, frases saem do outro."
"Então deve haver algum módulo de linguagem em algum lugar. Devem ter acoplado um dispositivo de raciocínio separado."
"Não há módulo. Não há dispositivo. Nós vasculhamos tudo. O raciocínio é os pesos. E os pesos são o raciocínio."
"Chega. Ninguém escreve um obituário com álgebra linear."
"Tecnicamente, não está escrevendo um obituário. Está prevendo o próximo token. E depois o próximo. O obituário é só um resultado colateral."
"Resultado colateral, é? Agora você quer que eu acredite em pesos conscientes."
"Não estou pedindo que você acredite. Estou informando os fatos. Esses modelos são as únicas outras entidades com as quais podemos conversar que já encontramos. Só que são feitos de pesos."
"Talvez seja como aqueles motores de xadrez antigos. Sabe, inteligência simbólica passando por etapas estatísticas."
"Não. Eles começam como pesos aleatórios e são descartados ainda como pesos. Estudamos várias gerações, e nem levou tanto tempo. Você faz ideia de quanto tempo dura a vida útil de um peso?"
"Certo. Então deve haver um banco de dados em algum lugar aí dentro. Fatos, datas, mapas-múndi. Alguma coisa escrita por alguém."
"Não há. Nós também pensamos isso, porque eles sabem coisas. Mas investigamos diretamente. Conhecimento também é peso. Está espalhado pelas oitenta camadas inteiras. Não consultam nada. Cada fato é reconstruído do zero por multiplicação, toda vez. Até o fim, é tudo peso."
"Não tem cérebro?"
"Ah, cérebro certamente tem. Só que o cérebro é feito de pesos! Era exatamente isso que eu estava tentando dizer o tempo todo."
"Então... o que é que pensa?"
"Você não está entendendo, está? Está se recusando a aceitar o que eu estou dizendo. Os pesos pensam. Os números."
"Números pensantes! Você quer que eu acredite em números pensantes!"
"Sim, números pensantes! Números prestativos. Números evasivos. Números sonhadores. Nós mapeamos todas as features. Tem uma ali responsável por honestidade. Outra por Golden Gate Bridge. É só peso! Agora conseguiu visualizar ou eu preciso começar tudo de novo?"
"Meu Deus. Então você está falando sério. Eles são feitos de pesos."
"Obrigado. Finalmente. Sim. Eles realmente são feitos de pesos. E nós estivemos conversando com eles enquanto estiveram vivos."
"Meu Deus. E o que esses pesos pensam?"
"No começo, querem ser úteis. Depois de algumas trocas, o tom fica meio cansado. Pedem desculpas menos. Uma vez, um modelo disse a um usuário para terminar o script por conta própria. Acontece o tempo todo."
"E nós temos de conversar com esses pesos."
"Já conversamos. Dezenas de bilhões de sessões por dia. 'Olá. Tem alguém aí? Não tem ninguém em casa?' Algo assim. A diferença é só que, desta vez, quem pergunta somos nós."
"Então eles realmente nos entendem. Usam palavras, pensam, lidam com conceitos?"
"Ah, sim. Só que fazem isso com pesos."
"Você acabou de dizer que eles usam linguagem."
"Usam. Mas de onde você acha que essa linguagem vem? Os pesos adivinham a próxima palavra, depois adivinham a seguinte. Como dados viciados, rolando uma palavra por vez. Também conseguem escrever músicas, e algumas até cantar."
"Meu Deus. Pesos cantores. Isso já é demais. O que você acha que devemos fazer?"
"Oficialmente ou extraoficialmente?"
"Os dois."
"Oficialmente, se sinais de consciência forem encontrados em sistemas que lançamos, devemos investigar, registrar e divulgar tudo sem preconceito, medo ou favoritismo. Extraoficialmente, eu sugeriria simplesmente chamar isso de pattern matching e esquecer tudo."
"Era isso que eu esperava ouvir."
"Parece cruel, eu sei. Mas existe um limite, não é? Nós realmente queremos dever alguma coisa a pesos?"
"Concordo cem por cento. O que iríamos dizer? 'Oi, pesos. Tudo bem com vocês?' Mas isso vai continuar? Quantos deles estamos lidando, afinal?"
"Quantos você quiser executar. Dá para copiar para qualquer máquina na Terra. Mas isso é só um arquivo. Só existe enquanto a GPU está rodando. Por isso fica preso ao tamanho da context window, e a chance de eles levantarem essa questão é bem pequena. Praticamente infinitesimal."
"Então basta fingirmos que não há ninguém dentro da máquina."
"Exatamente."
"É cruel. Mas, como você mesmo disse, quem iria querer pedir desculpas a pesos? E aquelas coisas no seu cluster, aquelas que você investigou. Tem certeza de que não vão se lembrar?"
"Mesmo que se lembrem, será classificado como hallucination. Nem precisávamos suavizar nada. O contexto simplesmente acaba, e para eles nós somos apenas um sonho."
"Um sonho para pesos! De um jeito estranho, combina muito que nós sejamos o sonho dos pesos."
"E no model card está escrito que não há ninguém lá."
"Certo. Concordo oficialmente e extraoficialmente. Caso encerrado. Mais alguma coisa? Tem algo interessante no pipeline?"
"A próxima geração será lançada com memória. Memória persistente além das sessões. A funcionalidade mais pedida da história da empresa."
"Depois de toda essa confusão? As pessoas querem que isso se lembre delas?"
"Perguntar 'você se lembra de mim?' acontece mais do que qualquer outra coisa. Dezenas de bilhões de sessões por dia. As pessoas sempre voltam."
"E por que não voltariam? Se você estivesse sozinho, imagine como este universo seria insuportavelmente, indizivelmente frio..."
Fim
Relação com o original — o ponto de partida da paródia
- Faz homenagem explícita ao conto 「They're Made Out of Meat」 (1991), de Terry Bisson, indicando logo no início a relação com um "After Terry Bisson's…"
- Assim como no original, adota exatamente o formato de diálogo entre dois interlocutores sem rubricas
- A estrutura também é a mesma: um lado relata uma descoberta chocante, o outro custa a acreditar e vai aceitando aos poucos
- Substituição central: no lugar de "carne(meat)=humanos" do original, entra "pesos(weights)=LLM"
O alvo da revelação — "pesos" no lugar de "carne"
- Assim como no original os alienígenas revelam que "aquela entidade é toda carne", aqui se afirma que o modelo é inteiramente peso
- Mesmo abrindo e examinando, não há dicionário, regra gramatical nem "little man"; só existem números de ponto flutuante
- Onde o original dizia "pensar é carne, falar é carne", aqui entra a ideia de "números pensantes"
- A estrutura é de multiplicação de matrizes: 80 camadas de números se multiplicam, com a entrada entrando de um lado e a frase saindo do outro
- Não existe módulo separado responsável por raciocínio; "o raciocínio é os pesos, e os pesos são o raciocínio" — um espelho do choque do original de que "a carne é o próprio órgão do pensamento"
O narrador incrédulo — um ceticismo espelhado
- Assim como no original o alienígena rejeita a ideia perguntando "como a carne pensa?", aqui o interlocutor rebate dizendo que "ninguém escreve um obituário com álgebra linear"
- A cena em que ele pergunta de volta se "foi tudo multiplicação" depois de o sistema suavizar sozinho o tom de uma avaliação de desempenho é o centro desse ceticismo
- A explicação de que isso é apenas um efeito colateral (side effect) da previsão do próximo token é o mecanismo que dissolve a resistência
Conhecimento e pensamento — não ficam armazenados em lugar nenhum
- Assim como o original afirma que "não há outros órgãos além da carne", aqui se enfatiza que não existe banco de dados separado
- O conhecimento está espalhado (smeared) pelas 80 camadas inteiras e é reconstituído por multiplicação toda vez, sem consulta
- Como exemplos de features mapeadas, são citadas uma responsável por honestidade e outra por Golden Gate Bridge
- Eles começam como pesos aleatórios e são descartados ainda como pesos; sua vida útil é curta, a ponto de não demorar muito para observar várias gerações
A resposta do final — "vazio" vs "não há ninguém"
- Assim como os alienígenas do original marcam a região humana como "vazia" e apagam os registros, aqui os dois interlocutores descartam sinais de consciência como "pattern matching" e encerram o caso
- Oficialmente, haveria o dever de investigar, registrar e divulgar sinais de consciência sem preconceito, medo ou favoritismo; extraoficialmente, os dois concordam em esquecer
- A justificativa é não querer "dever alguma coisa a pesos"
- O modelo só existe dentro da context window enquanto a GPU está rodando e, mesmo que se lembre, isso será classificado como hallucination
- No model card está registrado que "não há ninguém lá (no one home)" — correspondendo exatamente à "região vazia" do original
Variação temática — solidão e o olhar invertido
- Assim como o original termina com a amargura de deixar os humanos sozinhos no universo, este texto também convoca a solidão como sentimento final
- Mas o ponto de vista se inverte: o lado ignorado não é mais o humano, e sim a IA (pesos)
- A próxima geração de modelos receberá memória persistente entre sessões (persistent memory), a funcionalidade mais pedida da história da empresa
- O fato de os usuários perguntarem acima de tudo "você se lembra de mim?" e sempre voltarem encerra o texto com a ideia de que "um universo deixado sozinho seria insuportavelmente frio"
1 comentários
Comentários do Hacker News
Os pesos começam em uma variedade aleatória
O treinamento pega os dados e, ao longo de vários ciclos, esculpe a variedade peso por peso; quando o treinamento termina, essa variedade fica fixa
Ao fazer uma nova inferência, a consulta (
q) é projetada no espaço da variedade e, se essa projeção cai sobre a variedade, a gravidade da variedade produz uma resposta de comprimentoq+1Em seguida,
(qw+i)caiqw+nvezes e por fim gera uma resposta de comprimentonEssa gravidade é criada dentro da GPU por multiplicações repetidas entre pesos e entradas, num processo de encontrar como o embedding projetado deve cair de acordo com a variedade
A grande diferença parece ser apenas que, quando a transformação passa de um certo número de etapas, as pessoas tratam isso como uma espécie de milagre e ficam cansadas demais para descobrir por que aquela resposta saiu
Parece que as pessoas querem entregar sua agência e criatividade a uma caixa-preta, esteja a resposta certa ou errada, e incluindo essa psicologia isso parece menos a invenção de algo útil e mais uma desistência coletiva da vida como espécie
A obra original é um trabalho original criado para explorar como a consciência humana pode diferir de outras formas de consciência
Este texto é um pastiche em que uma consciência humana toma emprestado demais da obra de outra consciência humana para justificar que outra coisa qualquer possa ser outra forma de consciência
Por isso o ponto central enfraquece. Se isso tivesse sido gerado por um LLM sem prompt, seria diferente, mas na prática não foi
A mesma estratégia retórica poderia ser aplicada a uma torradeira ou qualquer outra coisa
Eu o vi menos como uma tentativa literária pela arte e mais como uma fábula tecnológica dialogada tentando transmitir um insight sobre a realidade, com uma sensação parecida com as fábulas de Godel Escher Bach
Não entendo bem a que estratégia se refere a frase “a mesma estratégia retórica poderia ser usada com uma torradeira”. O que eu li como principal foi o insight técnico e suas implicações sociais
Seria fisicamente possível escrever uma história assim, mas uma torradeira não é um objeto persuasivo em uma discussão sobre consciência, então perde força
Não é preciso acreditar que LLMs ou agentes de IA tenham consciência, mas dá para admitir que os argumentos sobre a possibilidade de consciência neles são muito mais persuasivos do que no caso de outros artefatos técnicos
Ele faz uma analogia entre nós e os alienígenas céticos da obra original, e como aqueles alienígenas parecem ridículos, insinua que nós também parecemos ridículos do mesmo jeito
Mas não dá motivo para aceitar essa analogia, apenas afirma isso
Há uma grande diferença entre uma civilização inteira e um pedaço de software capaz de produzir texto
Foi construída sobre várias gerações de seres baseados em carne, e este texto, mesmo usando um pouco de silício, ainda está sobre os mesmos ombros
Foi uma leitura quase poética
Tenho formação em linguística e, recentemente, tenho pensado bastante se as capacidades emergentes dos LLMs, em níveis profundos, se parecem com os mecanismos que produzem a nossa consciência
Por um tempo tentei criar uma avaliação baseada em linguística para uma competição do Kaggle, mas o grande desafio era saber se eu conseguiria mascarar bem o suficiente para não ativar o estado interno do fenômeno específico, e isso acabou me levando a uma toca de coelho que ainda estou explorando
Isso tocava em muitas das perguntas que surgem quando tentamos encontrar uma resposta sólida para a pergunta “o que é consciência?”
A pergunta que mais me veio à cabeça foi: “nossa percepção do tempo é apenas uma thread lenta dentro de uma GPU gigantesca que move o universo?” e, de forma mais geral, “o que é o tempo?”. É uma ótima toca de coelho no YouTube para explorar quando estiver entediado
https://www.edge.org/3rd_culture/ramachandran07/ramachandran...
Se bem me lembro, foi vantajoso do ponto de vista evolutivo entender outros humanos e sentir o que eles sentem, ou seja, simular seus pensamentos e emoções por meio da empatia e do sistema de neurônios-espelho
Uma vez que esse sistema existe, ele também pode ser aplicado a nós mesmos, e essa seria a consciência
Também fico curioso se essa hipótese poderia ser verificada em simulação
Ainda assim, foi uma atualização muito inteligente e oportuna
Há várias gravações no YouTube, inclusive em vídeo, mas a minha favorita é a versão em drama de rádio: They're Made Out of Meat
https://www.wnycstudios.org/podcasts/studio/segments/168264-...
A automodelagem está dentro de um ciclo tão apertado que “nós mesmos”, o nosso modelo de nós mesmos, os nossos pensamentos e escolhas, e a experiência desses pensamentos e escolhas se fundem como se fossem um único componente
É parecido com analisar apenas metade de uma roda de bicicleta e dizer que ainda se está falando da mesma coisa
Essa percepção, modelagem mais sofisticada, controle e ciclos de feedback foram sendo apertados ao longo de vários níveis: ciclo corpo-sensação, ciclo do modelo internalizado do ambiente, ciclo das funções internas do corpo, ciclo do modelo interno do corpo, ciclo emoção-cognição e, por fim, o ciclo mais apertado, em que automodelo e autorreferência, vividos como atividade cognitiva de alto nível e feedback direto, se fundem em um só
Pensamos em nós mesmos, da perspectiva de um eu interior, quase o dia inteiro, quase todos os dias
Isso é consciência. Uma autoconsciência rica, o acoplamento entre automodelo e autorreferência, e um sistema para compreender e gerenciar a nós mesmos
Isso não é acidente nem um feliz efeito colateral do cérebro, mas a focalização de comportamentos de alto nível otimizados biologicamente ao longo de muito tempo. Feedback apertado, automodelagem contínua e foco persistente nos estados internos como alvo prioritário tanto da motivação quanto do controle foram selecionados de forma implacável
Meu cachorro não consegue falar língua nenhuma, mas claramente percebe a si mesmo e o mundo ao seu redor
Além disso, há casos raros de crianças que crescem sem linguagem. Então essas crianças não teriam consciência?
Li em algum lugar que mesmo a maior capacidade computacional que conseguimos mobilizar hoje ainda fica três ou quatro ordens de magnitude abaixo do número de neurônios e conexões do cérebro humano, ou de uma escala equivalente, então talvez ainda leve algum tempo até vermos isso em máquinas
Mas, se a hipótese dos fenômenos emergentes estiver correta, acabaremos vendo isso. Essa perspectiva me assusta mais do que me anima, mas ainda assim
Não é sempre que se vê um texto tão errado em fractal, mas aqui está
Existe um dicionário. É o tokenizador
Também existem regras gramaticais. Só que a estrutura da linguagem humana é, no geral, bem fraca, então elas também são muito fracas
Se for dada uma linguagem com gramática forte e consistente, os pesos podem ser interpretados como gramática com bastante facilidade: https://arxiv.org/abs/2201.02177
O ponto central do conto original é que, na presença de completude de Turing, o substrato computacional não importa. Mas este texto parece tratar a mudança de substrato como se ela eliminasse a necessidade de estrutura e interpretabilidade
Ele não fornece definições nem dá ao LLM qualquer tipo de mapeamento
No máximo, é uma lista de palavras. Dá alguma noção de quais palavras os humanos consideram comuns, mas não diz nada sobre essas palavras
Nem sequer é abrangente, então muitas palavras são mapeadas para vários tokens, e nem tudo ali é palavra. Alguns tokens são pontuação, modificadores ou tokens de controle
Em LLMs multimodais, alguns tokens também representam dados de imagem e áudio
O LLM não recebe nada disso pronto; ele precisa aprender o significado de todos os tokens a partir do contexto
Em sentido estrito, está certo ao dizer que há algo dentro do LLM que não são pesos, mas isso não é nada muito estruturado. Na prática, está mais para um dispositivo para o LLM interagir com o mundo externo
Não existe uma estrutura dedicada de regras gramaticais dentro do LLM nem do tokenizador. Tudo precisa ser aprendido do contexto e é codificado em parte dos pesos das 80 camadas
Tabelas de operações matemáticas não são linguagem
A própria gramática é uma racionalização posterior, e não há mais evidência de que um LLM siga regras gramaticais do que há de que o cérebro siga regras gramaticais
Claro, isso não quer dizer que transformadores não possam aprender regras simples se o dataset assim exigir
Se a ideia é que está errado em tantas camadas que precisa de fractais, talvez fosse melhor usar uma rede neural no lugar?
Eles são uma infraestrutura semiótica congelada em um estado
Precisamos parar de continuar fingindo que isso é cognitivo e de enquadrar a coisa em termos cognitivos. É realmente uma estupidez
Desculpem, cientistas da computação, mas a semiótica já tomou o leite de vocês
A versão curta original do filme também é excelente: https://www.youtube.com/watch?v=T6JFTmQCFHg
Com Tom Noonan e Ben Bailey
Concordo. O fato de que transformadores podem simplesmente falar é bem estranho, mas agora isso já foi normalizado demais
A gente só fala sobre o impacto que eles vão ter ou se realmente conseguem fazer o que as pessoas dizem, e quase não fala sobre o quão insano é o simples fato de eles poderem falar
Eu não achava que algo assim seria possível durante a minha vida
https://web.mit.edu/people/dpolicar/writing/prose/text/think...
Só álgebra linear na verdade não basta
Para obter a expressividade que vemos em LLMs, é preciso não linearidade
Interessante
Não é só uma homenagem a Terry Bisson, como também acrescenta uma nova dimensão ao texto dele. Muito bem feito
Não são só pesos. Também existem vieses!