Nós automatizamos o 'Bullshit'
(cst.cam.ac.uk)- A IA generativa como o ChatGPT funciona prevendo e imitando de forma plausível textos da internet, em vez de verificar lógica ou fatos, e por isso é criticada como uma automação do bullshit
- O resumo de Rodney Brooks, de que ela “inventa coisas que soam plausíveis”, se conecta ao artigo sobre stochastic parrots de Emily Bender e Timnit Gebru, assim como à análise de Murray Shanahan sobre grandes modelos de linguagem
- Na definição de Harry Frankfurt, bullshit não é uma fala que contraria a verdade como uma mentira, mas sim uma fala que não se importa com a verdade, o que se relaciona com as saídas do ChatGPT
- Geoff Hinton vê o risco dos chatbots menos na superinteligência e mais na capacidade de gerar em massa textos persuasivos mesmo sem inteligência, e teme a automatização da persuasão política
- O que a IA pode substituir com mais facilidade talvez não seja o trabalho valioso, mas Bullshit Jobs como relatórios sem sentido, repasse de mensagens e atendimento de reclamações, de modo que o foco da regulação deveria estar menos na IA em si e mais na produção e disseminação de bullshit
Por que o ChatGPT parece um gerador de bullshit
- O ChatGPT se baseia em algoritmos que imitam padrões de texto encontrados na internet, em vez de verificar lógica ou fatos
- Rodney Brooks resume o ChatGPT como um sistema que “simplesmente inventa coisas que soam plausíveis”
- “Soar plausível” está ligado ao algoritmo que imita textos da internet
- “Inventar” aponta para o fato de depender da aleatoriedade do texto previsto mais do que de lógica ou fatos
- O artigo sobre stochastic parrots de Emily Bender, Timnit Gebru e colegas, assim como a discussão de Murray Shanahan sobre grandes modelos de linguagem, tratam do mesmo princípio de previsão de texto de forma mais técnica
A definição de Frankfurt: fala indiferente à verdade
- Em On Bullshit, de Harry Frankfurt, o bullshitter não rejeita a autoridade da verdade como faz o mentiroso, mas não presta nenhuma atenção à verdade
- Essa definição se conecta à análise de Brooks, Bender, Shanahan e Hinton sobre o modo como o ChatGPT funciona
- Frankfurt considera o bullshit um inimigo maior da verdade do que a mentira
- A mentira ao menos pressupõe uma relação com a verdade
- O bullshit é difícil de evitar quando alguém precisa falar mesmo numa situação em que não sabe do que está falando
O risco político criado por textos persuasivos
- Geoff Hinton vê o principal risco dos chatbots menos na superinteligência em si e mais na capacidade de produzir textos muito persuasivos mesmo sem inteligência
- Essa preocupação se conecta a formas de persuasão política como as de Donald Trump e Boris Johnson
- Num mundo em que evidência e lógica não são respeitadas no debate público, sistemas que funcionam sem evidência ou lógica podem imitar e substituir maus líderes políticos com textos super-humanamente persuasivos
Bullshit Jobs e automação por IA
- Bullshit Jobs, de David Graeber, se conecta ao futuro de IA em que “ninguém precisa trabalhar”, mencionado por Elon Musk ao primeiro-ministro britânico
- Graeber analisa que mais de 30% dos trabalhadores britânicos acreditam que seu trabalho não contribui com nenhum valor para a sociedade
- Esse tipo de trabalho inclui escrever relatórios sem sentido, transmitir mensagens entre pessoas e ouvir reclamações impossíveis de resolver
- Todas as partes dessas tarefas podem ser executadas com facilidade pelo ChatGPT
- Parte da educação universitária pode treinar jovens a se submeterem a procedimentos burocráticos e a escrever textos longos que quase ninguém lê
- Em uma educação que produz figuras como Boris Johnson, fluência verbal e argumentos divertidos podem ser mais recompensados do que a atenção minuciosa à verdade
Dados de treinamento e foco da regulação
- Sistemas de IA como o ChatGPT são treinados com enormes arquivos de bullshit como Twitter, Facebook e Reddit, além de materiais com fatos reais misturados, como a Wikipedia e textos de escritores profissionais
- Não há dentro do ChatGPT um algoritmo que verifique quais partes são verdadeiras
- Assim como o Twitter incentiva o bullshit de políticos que não se importam com o que é verdadeiro ou falso, os registros que eles deixam podem ser usados para treinar geradores automáticos de bullshit
- O que deve ser regulado não é a IA em si, mas o bullshit
- Para distinguir entre trabalho valioso e trabalho que podemos eliminar sem problema, precisamos de uma conferência sobre bullshit mais do que de uma cúpula sobre IA
Leitura adicional
- Designing Alternatives to AI será publicado pela MIT Press em 2024, com prévia gratuita online
- Talking About Large Language Models, de Murray Shanahan, pode ser lido em arXiv:2212.03551
- Um texto relacionado a Rodney Brooks foi publicado na IEEE Spectrum: “Just Calm Down About GPT-4 Already”
1 comentários
Comentários do Hacker News
Acho que este texto está certo em vários aspectos. LLMs parecem funcionar pelo princípio de “isso passaria como resposta correta?”, e não no estilo “já que isso funciona assim, uma resposta razoável para a pergunta é esta”
Ainda assim, é preciso reconhecer que, em certos momentos, LLMs de fato produzem boas respostas. Como quando você pede um trecho de código e ele acerta: a resposta que passou no teste de plausibilidade pode por acaso ser uma boa resposta, mas, de qualquer forma, é uma boa resposta
O ponto central é que, para saber se o LLM acertou, eu já preciso saber o que estou fazendo. Se eu, que não sou historiador, peço ao cGPT uma redação sobre as causas da Primeira Guerra Mundial, ela soa convincente, mas não sei se tratou dos pontos que um historiador de verdade consideraria importantes. Ele apenas entrega uma resposta comum que alguém leigo, que leu um pouco sobre o assunto, consideraria correta
A maioria das pessoas é especialista em apenas uma área, então não há como impedir que um LLM me engane em todos os campos que eu desconheço. Por isso, é preciso ter cuidado ao usá-lo fora da minha área de especialidade
Vejo os LLMs no estágio atual como ferramentas de atalho para especialistas. Eu consigo saber se um trecho de código da área em que atuo está certo ou errado, mas alguém que não trabalha nessa área pode ser enganado
LLMs são excelentes em produzir algo que parece linguagem coerente. Como colocar classes gramaticais nas posições esperadas dentro de uma frase. O problema é que modelagem de linguagem e modelagem de conhecimento estão muito próximas, então as pessoas confundem a parte de modelagem de conhecimento que surge por acaso com algo mais profundo
Mas, convencionalmente, o valor de um algoritmo de ordenação 50% não é 50% de uma ordenação que funciona corretamente, e sim zero. Ordenação normalmente faz parte de um sistema maior, e esse sistema precisa que a ordenação funcione 100% das vezes
Por muito tempo, houve áreas entre as técnicas de “aprendizado de máquina” em que acertar apenas 80% já era considerado sucesso. O interessante nos LLMs é que, em alguns problemas de aprendizado de máquina, eles elevam o padrão para 90%, mas, ao mesmo tempo, rebaixam o padrão de outras tarefas que antes podiam ser resolvidas 100% por algoritmos
Lembro de ter lido o resumo de um estudo que comparava o desempenho de pessoas que podiam usar software de xadrez com o de pessoas que não podiam. O fator preditivo mais forte de sucesso não era a habilidade pura no xadrez, mas a capacidade de usar o software de forma eficaz
Outra área em que não conheço bem a pesquisa publicada, mas há muitas evidências anedóticas, é a de trading algorítmico. Empresas bem-sucedidas quase sempre têm pessoas monitorando o comportamento dos algoritmos. Quando o algoritmo se comporta de forma estranha ou as condições não batem, uma pessoa pode perceber e ajustar parâmetros ou, se parecer que ele enlouqueceu de vez, desligá-lo. Sinceramente, boa parte desse tipo de supervisão deve ser consequência do caso Knight Capital
O ponto é que concordo que, no momento, LLMs são ferramentas para pessoas com experiência na área em questão, mas ainda assim isso é um avanço bem grande. Assim como os principais hedge funds quantitativos superam de forma consistente fundos geridos por humanos, pessoas inteligentes que souberem usar bem essa ferramenta vão sair na frente. O essencial é aprender em que ela é boa, em que é ruim e como verificar a saída
Quando preciso encontrar conhecimento, também é mais rápido procurar diretamente do que conversar com um computador. A verdadeira especialização inclui também a capacidade de dominar e simplificar esse processo de busca
Por outro lado, ele tem dificuldade para criar algo que nunca viu antes, ou que não seja uma variação próxima
Se isso for verdade, fico me perguntando por que ontem levei só 10 segundos com o ChatGPT 3.5 para encontrar um fato extremamente obscuro sobre a história do século XVIII. A busca do Google falhou mesmo depois de mais de uma hora
No começo, o ChatGPT deu uma resposta errada porque minha pergunta não estava precisa, mas depois que esclareci alguns pontos ele deu uma resposta que parecia correta e, após mais 1 ou 2 minutos de pesquisa e verificação, fiquei 100% convencido de que a resposta estava de fato certa
A afirmação de que “sistemas de IA como o ChatGPT treinam tanto em enormes repositórios de bobagens como Twitter, Facebook e Reddit quanto em fatos reais como a Wikipedia e textos raspados de escritores profissionais, mas não têm algoritmo para verificar quais partes são verdadeiras. A saída é literalmente bobagem” também é estranha
Filósofos, matemáticos, cientistas e romancistas também aprendem tanto com fatos reais quanto com enormes repositórios de bobagens. Há o trabalho consolidado de outras pessoas, a educação escolar e experimentos, mas também experiências cotidianas que não podem ser chamadas de ciência, conversas banais parecidas com diálogos no Twitter, propaganda e mentiras. Então a produção deles também seria bobagem e, indo além, tudo que a humanidade criou também seria bobagem
Talvez não saiba que precisa ajustar a pergunta e fazer pesquisa adicional. Se alguém quiser usar GPT em um sistema automatizado, como esse sistema poderia saber o que está errado e o que está certo?
Não parece muito controverso dizer que o ChatGPT e modelos semelhantes são mais fortes nesse tipo de tarefa, isto é, no papel de substituir a Google Search
A avaliação final é se é mais barato garimpar as informações diretamente ou usar IA para estreitar o espaço de busca. Partindo do pressuposto de que haverá verificação, eu diria que é a segunda opção
Por outro lado, em Wyrd Sisters, de Terry Pratchett, há esta frase: “Coisas que tentam parecer coisas muitas vezes parecem mais coisas do que as próprias coisas. É um fato bem conhecido. Mas não gosto de incentivar isso.”
Portanto, LLMs são muito melhores do que as alegações depreciativas de que são bobagem ou papagaios estocásticos, mas ao mesmo tempo não são tão bons quanto um especialista de domínio
Acho que os LLMs revelaram que temos pelo menos duas formas de pensar
Uma é parecida com o modo como os LLMs funcionam e, essencialmente, é previsão do próximo token. Basta pensar no estado mental de quando estamos profundamente imersos numa conversa. Não é um ato realmente consciente e, às vezes, surpreende até a nós mesmos. Se você for uma criança, ou estiver num estado infantil, pode inventar qualquer coisa naquele momento sem perceber
Agora pense em uma vez em que você precisou resolver um problema realmente difícil; é diferente. É um ato muito consciente, em que você desloca a atenção de um ponto a outro e raciocina sobre como tudo se encaixa e o que precisa mudar para que o problema seja resolvido. É bem provável que você nem use linguagem ao modelar o problema na cabeça
Os LLMs fazem a primeira coisa e, mesmo neste estágio inicial, fazem isso muito bem. O surpreendente é até onde se consegue chegar só com esse método. Ao entrar em modo de conversa com um nível de conhecimento sobre-humano, é possível resolver de fato alguns problemas moderadamente difíceis
Acho que isso também bate com a nossa experiência. Em áreas que conhecemos profundamente, às vezes nos vemos resolvendo um problema apenas compondo frases
A estrutura de conhecimento que construímos é simbólica. Símbolos representam abstrações, isto é, classes, e também incluem relações entre símbolos. A criatividade humana está em criar novos símbolos, ou novas relações entre símbolos existentes, a partir de novos inputs perceptivos, e isso é um processo de abdução. Essas estruturas de conhecimento são poderosas porque permitem erguer uma torre enorme sobre uma base sólida
Dizer que alguém resolve problemas apenas formando frases sobre um tema que conhece bem significa que há clareza nesse tema e que o fluxo de pensamento está alinhado à estrutura de conhecimento. Em outras palavras, significa que a pessoa realmente entende. Mas, pela minha experiência, é muito raro alguém permanecer dentro da própria competência, e a maioria acaba falando também sobre temas para os quais não tem uma estrutura de conhecimento. Além disso, a autoconsciência de saber sobre o que se tem de fato uma estrutura de conhecimento — ou seja, saber o que não se sabe — também é rara
O LLM é um pato de borracha que responde, para o bem ou para o mal
A interpretação comum era que a maioria das pessoas pensa apenas do primeiro modo
Esse tipo de interpretação já cansou. LLMs são papagaios, sim, mas papagaios que imitam a linguagem humana, e a linguagem humana parece codificar nossa capacidade de raciocínio dentro de sua estrutura. Então, quando se imita a linguagem bem o suficiente, começa-se também a imitar a capacidade de raciocínio
Acho que já deveríamos superar o fato de que LLMs não têm uma memória muito precisa. Esse problema é resolvido em grande parte, ainda que não totalmente, se você colocar no próprio prompt as informações sobre as quais quer perguntar, como no Bing. O ChatGPT é muito melhor em resumir do que em recordar fatos com precisão
E, na maioria dos casos, isso não importa. Quando você usa o ChatGPT para aprender algo ou resolver um problema, ele é um ponto de partida, não o ponto final. Se todo mundo entender isso, não há problema. Ainda não vi ninguém tratar a saída como 100% factual, e as empresas de IA também não afirmam isso
Existem, sim, pessoas que tratam a saída como 100% factual
https://www.nytimes.com/2023/06/08/nyregion/lawyer-chatgpt-s...
É como uma calculadora: se você põe besteira, sai besteira. Em muitos casos, é preciso inserir fatos. Coisas como RAG automatizam isso
Por isso acho que o ChatGPT está se expandindo fortemente na direção de RAG. Porque combina melhor com a forma como os usuários esperam que essa ferramenta funcione
Pessoas que acham que o mundo funciona por fatos têm dificuldade para entender LLMs. A forma de encontrar a solução de um problema com o ChatGPT é a mesma que com um humano: por meio de conversa
Pessoalmente, o ChatGPT revolucionou meu fluxo de trabalho. Ele tanto gera código que faz o que quero quanto me ajuda a enquadrar problemas de uma forma em que eles possam de fato ser resolvidos
Até agora, o modelo yi tem sido bem decente, e dois novos modelos melhores devem sair em até duas semanas. Esse movimento vai continuar até o Altman descobrir qual político ele precisa subornar com mais força
Já o ChatGPT foi treinado com Reddit e Twitter
O autor parece estar perdendo bastante a nuance. É verdade que às vezes ele inventa besteira, mas muitas vezes não, e pode economizar muito tempo. Claro que às vezes ele também leva pelo caminho errado ou dá uma resposta totalmente incorreta
Como lidar com isso depende do usuário. Dá para tentar aproveitar o resultado dado, ou configurar ferramentas para verificá-lo facilmente e aumentar a produtividade, ou então enfiar a cabeça na areia e dizer que está tudo errado e que não importa
As duas abordagens são válidas
A IA não “produz besteira às vezes”; ela produz besteira sempre. Quando a saída ocasionalmente é correta, isso é resultado de o corpus inicial estar correto. Mas, para a IA, assim como para um agitador, isso não importa nem um pouco; basta soar plausível
Se é “fácil” verificar o que a IA disse, então também “deveria ser” fácil ensinar a IA a verificar antes de falar, e aí a crítica de que a IA é uma máquina de besteira seria automaticamente refutada. A ameaça real é que a IA consegue produzir besteira difícil de verificar, e fazer isso em uma velocidade que envergonharia até um Gish gallop profissional
Na economia da besteira — por exemplo, no contexto de um burocrata que escreve relatórios que ninguém lê, e que escreve esses relatórios para inflar o número de gerentes e aumentar o salário dos gerentes — isso por si só já basta
É uma questão separada dos casos em que o usuário revisa a saída e, com julgamento especializado, escolhe o que é útil, ou em que refina o uso de ferramentas via chamadas de API em vez de simplesmente colocar texto de forma ingênua em uma GUI básica
Não daria para dizer que “a linguagem é um gerador de besteira”? A maior parte da linguagem que encontramos, seja criada por humanos ou por máquinas, é extremamente suspeita, o que Nietzsche chamava de exército móvel de “metáforas, metonímias e antropomorfismos”
Isso também é o que tornou a linguagem bem-sucedida. Porque ela é independente da restrição de ter que ser “verdadeira”. LLMs usam essa propriedade a seu favor, mas não são sua origem
Antes eu pensava exatamente como este texto, mas agora realmente não sei
Código que executa e funciona, ou seja, código que de fato faz o que foi pedido, não é nem um pouco “besteira”
Busca com referências a fontes personalizadas de um corpus específico, ou seja, RAG, também não é besteira
Então a IA é, de muitas formas, uma geradora de besteira, mas nós também somos, e ela também pode ser usada de formas úteis e que não são besteira
Em um mundo em que otimização importa, há um abismo considerável entre funcionar e estar correto. Nem sempre, mas, a rigor, não é algo a ser visto apenas de forma algorítmica; também é preciso otimizar coisas como reutilização e testabilidade, e código gerado por GPT pode deixar esses pontos passarem
Havia um bom vídeo de um youtuber francês que tratou deste tema há 9 meses: https://youtu.be/JcFRbecX6bk?feature=shared
Em francês há uma palavra que me parece mais precisa: baratineur. Significa alguém que diz o que você quer ouvir, independentemente das noções de verdade ou falsidade
Se todo mundo realmente lembrasse que os LLMs foram projetados para gerar saídas plausíveis, muita gente economizaria tempo. Um LLM não “sabe” nada, não “raciocina”, não “pensa” e não tem opiniões. Ele apenas recebe algo como um prefixo de texto ou uma seed e gera uma saída com base no que aprendeu a partir de coisas realmente criadas por humanos
Visto assim, tudo fica bem claro
Deve-se confiar na resposta? Claro que não. Ele apenas gerou alguma coisa
Dá para usar em brainstorming? Claro que sim. Você pode revisar a saída, aproveitar algo ou se inspirar nela
Dá para usar para gerar código útil? Claro que sim. Mas é preciso ler o código e fazer com que ferramentas e pessoas o revisem para confirmar que ele se comporta como você imaginou
Deve substituir funcionários? Claro que não. Um gerador de sufixos de texto não consegue lidar com problemas complexos nem assumir responsabilidade por decisões
Pode haver ou não um modelo de mundo lá dentro. Quem sabe. O que sabemos é que “prever o próximo token” é um objetivo simples, mas, para funcionar tão bem quanto funciona hoje, exige uma complexidade enorme dentro da caixa-preta