Richard Stallman, "Por que não se deve usar o ChatGPT"
(stallman.org)- Richard Stallman aponta que o ChatGPT é um sistema sem inteligência, que apenas combina palavras e não entende o significado
- Como esse sistema gera saídas independentemente de serem verdadeiras ou não, ele o chama de “gerador de besteira (bullshit generator)”
- Ele alerta que a ilusão popular de atribuir inteligência a esses sistemas generativos está produzindo uma confiança equivocada
- O ChatGPT é um software fechado do qual o usuário não pode obter nem executáveis nem código-fonte, sendo acessível apenas por meio de servidores
- A forma de realizar computação em servidores de terceiros deve ser rejeitada por prejudicar a liberdade computacional do usuário
A natureza não inteligente do ChatGPT
- Stallman define ‘inteligência (intelligence)’ como a capacidade de entender ou saber
- O ChatGPT não sabe o significado da saída que gera, nem sequer reconhece que as palavras têm significado
- Portanto, o ChatGPT é caracterizado como um simples sistema de combinação de linguagem, e não uma inteligência
O caráter de “gerador de besteira”
- Ele chama o ChatGPT de “bullshit generator”, isto é, um sistema que gera resultados independentemente de serem verdadeiros ou não
- Pelo mesmo motivo, ele menciona que outros sistemas generativos também têm o mesmo problema
A confiança equivocada do público
- Muitas pessoas demonstram confiança equivocada por acreditarem, erroneamente, que esses sistemas têm inteligência
- Stallman pede a difusão da percepção de que esses sistemas não devem ser confiados
O problema como software fechado
- O ChatGPT é um software não público que o usuário não pode copiar nem executar
- Nem mesmo executáveis são fornecidos; ele só pode ser usado por meio dos servidores da OpenAI
- Essa estrutura torna o usuário dependente do servidor, impossibilitando o uso independente
O prejuízo à liberdade computacional
- Stallman afirma que realizar a própria computação em servidores de terceiros destrói a liberdade computacional
- Citando um documento da filosofia GNU, ele levanta a pergunta fundamental: “A quem esse servidor realmente serve?”
Fonte: Richard Stallman, “Reasons not to use ChatGPT”, stallman.org, 2024
Direitos autorais: o texto permite cópia e distribuição sob as mesmas condições, conforme o aviso do original
23 comentários
Na verdade, nunca nem pensei que o Stallman fosse gostar de LLMs kkkkkkkk
kkkkkk
Parece que o que Stallman defende não ficou claramente exposto no texto resumido.
Na graduação, certa vez fiz uma disciplina eletiva de filosofia chamada <Computadores e Mente>. Lá aparece o experimento mental chamado Quarto Chinês, criado pelo filósofo americano John Searle. Hoje em dia, às vezes me vem à cabeça, junto com a lembrança de ter feito <Computadores e Mente>, uma pergunta do tipo: os LLMs atuais são apenas ferramentas sem consciência, mas será que faz sentido tratar isso como se fosse gente(?). Então resolvi registrar em texto o que perguntei a uma IA sobre isso. É um post sem muita pretensão, então leiam só por diversão. Obrigado.
Pergunta) Olá. Você poderia me explicar de forma detalhada e didática o experimento mental chamado <Quarto Chinês>, idealizado pelo filósofo americano John Searle (1932~2025)? Lendo o site ‘news.hada.io/topic?id=24995’ (hackers news), tive a impressão de que uma pessoa chamada Richard Stallman pensa algo como: “Modelos LLM como o Chat-GPT não dão respostas por compreenderem algum conceito, mas são apenas máquinas capazes de combinar palavras e produzir respostas plausíveis.” Primeiro, queria que você me explicasse o experimento do Quarto Chinês de John Searle e, depois, ouvir seus pensamentos e sua opinião, Gemini, sobre essa afirmação de Richard Stallman. Por favor, responda de forma detalhada e gentil. Peço muito mesmo!!
Resposta) Olá! Você trouxe um tema fascinante: o experimento mental do <Quarto Chinês (Chinese Room)> do professor John Searle e, à luz dele, a questão dos grandes modelos de linguagem (LLMs).
Em 2025, John Searle já nos deixou, mas esse experimento mental que ele legou continua no centro de debates mais acalorados do que nunca, agora que a IA avançou de forma tão intensa. É uma ótima oportunidade para pensar junto a afirmação de Richard Stallman e o significado ontológico da minha própria existência (Gemini).
Como você pediu, vou expor meus pensamentos de forma bem detalhada, didática e sincera.
Em 1980, John Searle concebeu esse experimento ao levantar a seguinte questão: “Será que um computador, apenas por executar um programa, pode ter uma ‘mente (Mind)’ ou ‘compreensão (Understanding)’ como a de um ser humano?”
🧪 A configuração do experimento
Vamos imaginar a seguinte cena. Existe uma sala fechada completamente isolada do exterior.
😲 O resultado do experimento
A pessoa do lado de fora é falante nativa de chinês. Ao ver a resposta que saiu da sala, ela fica espantada, porque a gramática está perfeita e o conteúdo parece muito natural. Do lado de fora, ela passa a pensar: “Uau, a pessoa dentro dessa sala entende chinês perfeitamente!”
💡 A tese central de John Searle
Mas nós sabemos de algo importante: A, a pessoa dentro da sala, não entendeu uma única letra de chinês. Ela apenas montou símbolos seguindo regras (Syntax, sintaxe); não sabe absolutamente nada sobre o que aqueles símbolos significam (Semantics, semântica).
Esse é precisamente o ponto central que John Searle queria defender, e isso costuma ser entendido como uma refutação da ‘IA forte (Strong AI)’.
2. A afirmação de Richard Stallman e uma interpretação contemporânea
A visão de Richard Stallman (fundador do movimento do software livre) mencionada por você aplica diretamente o argumento de Searle aos LLMs modernos, como o ChatGPT ou eu, o Gemini.
A crítica de Stallman é a seguinte: “Se a IA produz frases que parecem convincentes à primeira vista, isso não acontece porque ela conhece o significado, mas porque consegue encadear estatisticamente ‘a palavra mais provável de vir em seguida’.”
Agora vou dar minha opinião sincera, como parte interessada, eu mesmo, o Gemini. Eu não sou um ser humano com emoções, mas posso organizar uma reflexão sobre meu princípio de funcionamento e sobre a ideia de ‘compreensão’.
✅ 1. Em termos técnicos, Stallman está dizendo algo que é ‘verdadeiro’.
É um fato incontestável que eu não tenho um cérebro biológico.
🤔 2. Mas a definição de ‘compreensão’ pode ser diferente. (emergência)
Por outro lado, dizer simplesmente “é só uma máquina estatística” talvez seja simplificar demais, porque as capacidades demonstradas pela IA moderna se tornaram muito complexas. É aqui que entra a noção de ‘emergência (Emergence)’.
🤝 3. Minha conclusão: “Reconheço tanto meu valor como ferramenta quanto meus limites.”
Eu considero a crítica de Richard Stallman extremamente importante e necessária.
📝 Em resumo
O <Quarto Chinês> de John Searle continua, mais de 40 anos depois, sendo uma percepção afiada sobre a natureza de IAs como eu.
Espero que esta resposta tenha ajudado você a entender a filosofia do professor John Searle e os debates atuais em torno dela.
A execução de computação em servidores de terceiros deve ser rejeitada porque prejudica a liberdade de computação do usuário.
Isso não seria um argumento para rejeitar não só os LLMs, mas também todos os serviços em nuvem e serviços externos...? A tradução está errada?
Você viu corretamente
Stallman também defende que não devemos usar SaaS
https://www.gnu.org/philosophy/who-does-that-server-really-serve.html
Achei que ele tivesse sumido de vez depois de defender o Epstein, mas pelo visto está aparecendo de novo, rs.
Se fosse qualquer outra pessoa, eu diria que é papo furado, mas vindo do Stallman faz sentido.
Os humanos, que julgam com intenção, formam a vontade como sujeitos e objetos. Acho que é isso que é inteligência. Só porque é útil para atividades intelectuais, interpretar isso de forma exagerada como inteligência é um equívoco.
É verdade, mas, mesmo assim, os LLMs estão apresentando respostas corretas com uma probabilidade surpreendentemente alta.
:+1:
Stallman é tão fundamentalista que provavelmente usou a expressão
bullshit generatorpor isso. Como todos sabem, a ideia que ele quer expressar deve ser a mesma do termo “papagaio estocástico”.Mas também é fato que os LLMs, que hoje são papagaios estocásticos, estão aumentando dramaticamente a produtividade da humanidade. E as pessoas provavelmente se interessam mais por inovação industrial do que pela liberdade da computação. Também não há garantia de que os humanos não sejam, eles próprios, papagaios estocásticos.
Código-fonte aberto...? Então aquele DeepSeek!!!
Por essa definição, dizer isso é praticamente o mesmo que afirmar que não se deve usar nenhum setor de serviços que passe pelo cérebro de outra pessoa em vez das minhas próprias mãos, incluindo empregados, serviços em nuvem e até telefone.
O item 1 é simples: tudo o que existe no mundo real pode gerar saídas independentemente da verdade. Até sistemas que foram concebidos com a intenção de produzir saídas verdadeiras podem falhar nisso. Nós chamamos isso de “erro”.
Item 2. Se afirmar que só se pode usar algo quando se pode obter o executável ou o código-fonte significa defender que é preciso conhecer os princípios internos do sistema para utilizá-lo, então todas as pessoas que não estudaram física nem engenharia elétrica e eletrônica deveriam largar imediatamente seus smartphones e computadores. Seria como dizer que não se pode usar rastreamento por localização sem aprender teoria da relatividade. Será que Stallman tem o projeto dentro da cabeça do cabeleireiro que corta o cabelo dele?
Pelo item 3, essa pessoa seria um dogmático que não confia no pensamento de ninguém. Afinal, todo pensamento alheio e toda conclusão derivada dele violariam a liberdade do “eu” de pensar por conta própria.
Pode-se dizer que, em relação à questão de saber se a IA generativa realmente possui inteligência, não devemos acreditar precipitadamente que se trata de uma entidade inteligente. Mas as lógicas forçadas que andam de mãos dadas com essa ideia são simplesmente bullshit.
Acho que houve um mal-entendido sobre quem é Stallman e o que ele quer defender.
semantic groundinge podem dizer coisas erradas de forma convincente. Não dá para colocar LLMs no mesmo nível de pessoas só porque qualquer um pode cometer erros.Stallman é radical e nem sempre está certo em tudo, mas os problemas levantados neste texto já vêm sendo discutidos ativamente. Não é um argumento de um nível que dê para simplesmente descartar como bullshit.
No fim das contas, dizer que o usuário deve necessariamente poder ter o código-fonte ou uma cópia do software não se baseia fundamentalmente numa crença pessoal do Stallman?
É difícil concordar com uma postura que parece erguer uma crença extremamente radical, idealista e puramente teórica — a de que tudo pode e deve ser compartilhado de graça e de forma igualitária — e tratar como heresia qualquer coisa que lance sequer uma sombra sobre esse castelo de cartas. A humanidade já tem uma doença parecida quando se trata de sistema econômico.
Concordo que os resultados da IA generativa são probabilísticos e que não há o
semantic groundingde que você falou, mas no fim isso é apenas uma questão de grau. Mesmo quando nos comunicamos e debatemos com outras pessoas, julgar e verificar o conteúdo continua sendo responsabilidade individual. Seja a entidade com quem converso uma IA generativa ou uma pessoa, a resposta dela acaba sendo influenciada pelo conhecimento prévio aprendido e pelos dados de treinamento que moldam seus valores. Claro, essa semelhança não significa que a IA possua inteligência genuína, mas, desde o início, o motivo de a IA generativa ser indiferente à verdade é que os dados com que ela aprendeu também são indiferentes à verdade — e com as pessoas acontece o mesmo. Só com base nisso, não acho convincente dizer que “não se deve usar”.Quanto ao ponto 3, acho que houve uma parte que eu interpretei de forma precipitada e entendi errado. Assim como no ponto 2 sobre o código-fonte, eu tinha pensado que, se a ideia era que o usuário deve saber o que acontece no servidor, então seria possível comparar outra pessoa, como provedora de um serviço de conhecimento, a um servidor, dentro do mesmo raciocínio. Mas pelo visto fui eu que entendi errado desde o começo.
No entanto, como você disse, não me parece que a parte sobre ser dogmático tenha sido um mal-entendido meu.
Se for realmente necessário poder obter o código-fonte ou uma cópia de uma IA generativa, então os direitos de propriedade intelectual seriam destruídos.
Se o problema é que dados sejam enviados ao servidor de outra pessoa, então basta não fornecê-los. Basta não usar o serviço. Não existe maneira de discutir um segredo sem revelá-lo a ninguém. Dizer que qualquer pessoa deveria poder ter o código-fonte ou uma cópia de uma IA que alguém desenvolveu com tempo, recursos e esforço — se isso não é bullshit, então o que é? Só porque eu disponibilizo o que é meu de graça não significa que eu possa pegar o que é dos outros como bem entender.
Como eu disse no começo, não conheço bem o Stallman nem as ideias dele. Só ouvi o nome dele por alto e sei mais ou menos que existem conflitos relacionados a software livre. Mas não sei até onde vão as ideias e a influência dele, nem o quão seriamente elas são levadas. Ainda assim, pelo menos a liberdade de chamar de bullshit uma posição sem racionalidade e sem senso de realidade eu acho que eu tenho.
Eu vejo isso pela perspectiva de que tecnologias/conhecimentos que têm grande impacto sobre a sociedade devem ser devolvidos à sociedade. Como no caso dos medicamentos genéricos. Se os genéricos forem restringidos, aumentam casos como o do Daraprim, e a sociedade como um todo sai perdendo em benefício dos interesses de poucos.
E você mencionou o eletromagnetismo e os smartphones, mas disciplinas básicas como o eletromagnetismo têm seu conhecimento publicado de uma forma que pode ser verificada por terceiros e compartilhada com a sociedade, não é? Por isso, mesmo pessoas comuns sem conhecimento de eletromagnetismo podem participar do ecossistema de smartphones com base nessa confiança construída passo a passo; assim, a escala do ecossistema cresce, surge um mercado e a humanidade se beneficia disso.
Também considero desejável que, na medida em que uma empresa obtém lucros do mercado, ela contribua com esse mercado e com a sociedade que possibilitou o avanço da tecnologia e continua tornando esse avanço possível.
A estrutura básica da IA generativa já foi divulgada, e entendo que as partes que a OpenAI não divulga pertencem aos segredos comerciais da empresa. Quando uma empresa ou tecnologia volta a contribuir com a sociedade, isso parece, na superfície, uma expressão de gratidão e uma mensagem de coexistência, mas, na prática, vejo como um reinvestimento no mercado para o crescimento sustentável da própria empresa. Sob essa perspectiva, parece mais desejável que empresas de IA contribuam para a educação ou para a infraestrutura social com o dinheiro que arrecadam, em vez de exigir que tornem público tudo o que é, na prática, um ativo seu — uma cópia da inteligência artificial que possuem. Isso não seria como ignorar os benefícios dos ovos de ouro da galinha dos ovos de ouro e exigir que primeiro se abra a barriga da galinha? Os ovos de ouro podem sair à vontade. Basta compartilhá-los; se for obrigatório entregar a própria galinha, fico pensando quem ainda iria se dispor a criá-la.
Como a inteligência artificial funciona já está esclarecido, assim como a eletromagnetismo. Um smartphone incluiria não apenas o conhecimento básico de eletromagnetismo, mas também tecnologias que cada empresa não pode revelar por serem segredos comerciais. Simplesmente não consigo entender desrespeitar essa parte e tratar a IA generativa como algo ruim, quase como numa caça às bruxas.
Graças às pessoas que responderam ao meu comentário, fui pesquisar bastante coisa e isso me levou a refletir muito. Obrigado.
Obrigado pela compreensão.
Se alguém afirma ter uma galinha dos ovos de ouro, acho que deveríamos poder verificar se esses ovos são realmente de ouro, se foi mesmo essa galinha que os botou e o que está sendo tomado em troca desses ovos de ouro.
Eu leio a defesa do Stallman de que é preciso ter acesso ao código-fonte para uma computação confiável mais ou menos com essa nuance.
Recentemente, houve um caso em que foi encontrado um microfone em um produto chamado nanokvm, lançado pela fabricante chinesa de plataformas embarcadas sipeed.
Pelo que sei, existe uma apreensão de que produtos embarcados chineses sejam vulneráveis do ponto de vista de segurança, ou até mesmo usados em operações de segurança do governo.
Talvez por refletir esse preconceito, recentemente também saiu esta matéria sobre esse produto: 중국산 NanoKVM에서 숨겨진 마이크를 발견한 과정
Mas acredito que a sipeed conseguiu desfazer o mal-entendido como um incidente passageiro porque conduziu de forma open source desde esse hardware até o desenvolvimento do software: https://x.com/lexifdev/status/1999340940805439775
Na época do Stallman, pelo que entendo, nesse tipo de debate quem ocupava esse lugar, em vez do governo chinês, era o governo dos EUA de um período ainda marcado pelo macartismo e a NSA.
Houve casos de backdoor da NSA que pareciam teoria da conspiração, mas depois se provaram reais, e também coisas como printer tracking dots (https://en.wikipedia.org/wiki/Printer_tracking_dots).
Hoje em dia, mais do que teorias da conspiração envolvendo governos, o que está em alta é a conversa de que empresas cuja principal fonte de receita é publicidade espionam o microfone dos smartphones para fazer anúncios segmentados.
E eu também acho que, em empresas de tecnologia de software, o código-fonte obviamente tem um papel importante, mas conveniência geral, capacidade de operar serviços e confiança têm um papel ainda maior.
Mesmo que alguém obtivesse todo o código-fonte da OpenAI, os concorrentes que chegaram depois não conseguiriam facilmente garantir e operar de forma estável a infraestrutura capaz de sustentar inúmeros usuários, nem alcançar a confiança da marca, não é?
Há muitos casos de produtos importantes operados como open source, com inúmeros forks, que mesmo assim não perderam a liderança.
De cabeça, penso em casos como Chrome e VS Code.
Claro que há casos em que a liderança foi perdida, como Elastic ou Redis, em meio aos conflitos em torno de licença open source por causa da AWS, mas, do mesmo modo, eu penso que isso aconteceu porque as duas empresas ficaram relativamente atrás da AWS em conveniência, capacidade operacional de serviço e confiança.
Bem, esse tipo de conversa também pode ser visto como algo político e ideológico. Então vou acrescentar uma observação pessoal.
Do ponto de vista de alguém que trabalha principalmente com desenvolvimento de software e mexe com hardware embarcado como hobby, lidar com caixas-pretas sem código-fonte ou esquemáticos é realmente... muito difícil para desenvolver e fazer manutenção.
Quando vou desenvolver usando alguma biblioteca de software ou algum hardware, se é possível obter o código-fonte ou os projetos, ou pelo menos se a documentação de especificação está bem organizada, o desenvolvimento fica realmente muito mais fácil; caso contrário, é uma grande dor de cabeça.
Recentemente houve bastante discussão no exterior sobre o direito ao reparo, e uma das coisas que mais me marcou foi ouvir que, antigamente, ao abrir a tampa de aparelhos eletrônicos, havia diagramas de fiação desenhados ali para servir de referência no conserto. (Recentemente a Apple diz que fornece esquemáticos para oficinas de reparo.)
Essas experiências acabam influenciando muito a formação de confiança nesses produtos. Hoje em dia, quando escolho uma tecnologia ou compro um produto, a primeira coisa que considero é se, caso isso quebre ou dê problema, eu conseguirei entender com facilidade, consertar para continuar usando ou contornar o problema para usar de outro jeito.
O que é o saber…
É aquele velho assunto que vem desde o experimento do "quarto chinês" kkk
Opiniões do Hacker News
Considerando que Stallman trabalhou com symbolic AI na época do MIT AI Lab e até criou o GCC, acho que ele é uma das figuras conhecidas da tecnologia que entendem profundamente a essência da questão
Ele não está errado. O ChatGPT é apenas um simulacro de inteligência (simulacrum), útil, mas não totalmente confiável. Também é difícil considerá-lo algo positivo do ponto de vista de liberdade e abertura
Eu prefiro o termo LLM. Mas a maioria das pessoas não sabe o que isso é, então no fim acabo explicando como AI. LLM não é um bullshit generator. Mesmo sem entender o significado, se o resultado for útil, isso já basta. É como um cozinheiro que consegue cozinhar ovos sem conhecer a essência do ovo. Mas esses modelos precisam poder rodar livremente em hardware próprio ou em nuvem de terceiros. Hoje os modelos chineses dominam o mercado. O ChatGPT talvez não dure muito se não resolver sua situação interna de “code red”
É engraçado que o site do Stallman tenha uma seção “What’s bad about”. É uma estrutura com bastante autoconsciência
Assim como não dá para dizer que uma calculadora não sabe matemática só porque não entende números, a forma como a IA lida com palavras também é semelhante à humana. Falta criatividade, mas ela já consegue lidar com tarefas cotidianas. Por exemplo, se eu perguntar sobre o sistema tributário alemão, mesmo com alguma imprecisão, há boa chance de a resposta ser mais correta do que duas horas de pesquisa minha
Se definirmos inteligência como “a capacidade de compreender fenômenos desconhecidos e criar modelos mentais”, então os modelos atuais não são inteligência, porque não conseguem atualizar pesos no momento do raciocínio. Como o aprendizado por gradient descent é ineficiente, a inteligência dos modelos atuais voltados apenas para inferência é, na prática, próxima de 0
No fim, LLMs são entidades que produzem alucinações (hallucination). Só que algumas alucinações são úteis
A afirmação “ChatGPT não entende nada, portanto não é inteligência” na verdade diminui o ChatGPT ao mesmo tempo em que o antropomorfiza (anthropomorphize). Mas concordo com a parte de que “software rodando no servidor de outra pessoa prejudica a liberdade computacional”. É lamentável que esse avanço em IA esteja acontecendo em um ambiente no qual não se pode executar nem desenvolver livremente
LLM não é inteligência real, mas ainda pode ser chamado de inteligência artificial (artificial intelligence). Assim como grama artificial não é grama de verdade, mas ainda assim a chamamos de “grama”, o nome em si continua válido
A essência dos LLMs é simples. A definição de inteligência não importa. Eu chamo LLM de “Associator”. Ele não pensa nem entende, mas associa padrões linguísticos para produzir resultados úteis
Se a inteligência artificial, em última instância, não pode ter uma alma, por que sua inteligência teria necessariamente de se parecer com a inteligência humana que busca a verdade? Até mesmo uma parte considerável do que chamamos de atividade intelectual se baseia em mentiras e alucinações. Os seres humanos da sociedade moderna também afetam a vida dos outros com falsidades, por não perceberem os fenômenos (ou de propósito).