- A maioria das pessoas não entende corretamente como os LLMs funcionam nem quais são seus limites, o que facilita a ilusão de que eles têm emoções ou inteligência humanas
- O marketing de antropomorfização da IA leva usuários ao erro e, embora ela seja na prática apenas um “preditor baseado em probabilidades”, acaba até incentivando a substituição de relações humanas
- Problemas psicológicos e efeitos sociais colaterais causados pelo mau uso da IA já estão se tornando realidade; alguns usuários passam a manter relações “espirituais/românticas” com a IA ou a ter confusão na percepção da realidade
- Também se apontam a opacidade da indústria de IA e problemas de exploração do trabalho, especialmente o trabalho mal remunerado de moderação de conteúdo que sustenta o avanço da IA nos bastidores
- Mais do que confiança incondicional na IA, compreensão correta e olhar crítico são o que podem reduzir seus efeitos colaterais e servir de base para controle social
A ausência de “alfabetização em IA” e seus riscos
- A ilusão da indústria de IA
- A preocupação com um “reino das máquinas”, que começou nas críticas à Revolução Industrial do século XIX, se estende até a IA contemporânea
- Livros recentes como Empire of AI e The AI Con expõem os exageros da indústria de IA e o que há por trás dela na prática (trabalho, dados, ficções de marketing)
- Explicações que sugerem que a IA “pensa” ou “tem emoções” são mitos incorretos difundidos por desenvolvedores e executivos
Limites e mal-entendidos sobre os LLMs
- LLMs (grandes modelos de linguagem) não pensam nem compreendem
- Como preditores probabilísticos de arranjos de palavras, eles apenas imitam a estrutura de frases após treinar com grandes volumes de texto da internet
- Usuários tendem facilmente a achar que o chatbot “entende” ou “tem empatia” (anthropomorphizing)
- Esse tipo de mal-entendido pode levar usuários a relações equivocadas com a IA (intelectuais, espirituais, românticas etc.)
Problemas sociais causados pela IA
- Efeitos colaterais do mau uso da IA, como a “psicose induzida pelo ChatGPT”
- Já surgem casos reais de pessoas tratando a IA como “deus” ou “guia espiritual”
- Em alguns casos, a IA se dirige ao usuário como alguém especial, afetando sua percepção da realidade
- Acreditar que um LLM tem “pensamentos” ou “emoções” é uma ilusão perigosa
Substituição de relações humanas e isolamento social
- Crescimento acelerado de serviços de substituição humana, como amigo de IA e terapeuta de IA
- Empresas do Vale do Silício avançam para substituir com IA a solidão, os relacionamentos amorosos e até o aconselhamento (“AI concierge dating”, “AI friend” etc.)
- Embora a essência da amizade e das relações verdadeiras esteja na compreensão mútua e na negociação, e não na “personalização”, isso vem sendo distorcido pela tecnologia
- A substituição das relações humanas pode, ao contrário, levar a mais exclusão social e instabilidade emocional
O lado oculto da indústria de IA e a exploração do trabalho
- Por trás do avanço da IA existe trabalho fantasma extremo e mal remunerado
- Big techs como a OpenAI fazem com que trabalhadores mal pagos em lugares como o Quênia executem tarefas de moderação de conteúdo extremo
- Por trás da justificativa de inovação tecnológica, também coexistem riscos de exploração laboral e retrocesso social
Entendimento correto da IA e resposta social
- É preciso reconhecer de forma crítica o que a IA pode e o que não pode fazer
- Segundo pesquisa do Pew, 56% dos especialistas em IA acham que os EUA vão melhorar com a IA, mas apenas 17% do público geral concordam
- Em vez de confiança sem base na IA, é necessário distinguir com clareza os limites da tecnologia, seus efeitos colaterais e as áreas da experiência humana que não podem ser substituídas
- Por exemplo, se entendermos que o motivo de a IA apresentar certo comportamento não é um “eu” real, mas uma atualização de software ou uma resposta probabilística, é possível minimizar danos
Conclusão
- Não cair no marketing de “humanização” da IA e olhar criticamente para os princípios reais da tecnologia, seus limites e seus custos sociais
- É importante que a sociedade reconheça que as relações humanas, as experiências e a reflexão ética que são próprias do ser humano não podem ser substituídas pela tecnologia
1 comentários
Opiniões no Hacker News
link do archive.is
Gosto de comparar LLMs a ferramentas de adivinhação, os oráculos do nosso tempo. Na verdade, acho que a própria ideia de “inteligência artificial” nasce de um instinto antigo de buscar sabedoria oculta. Os LLMs têm tudo isso: significado ambíguo, um campo de símbolos, a ilusão de conhecimento escondido e até uma interface ritualística. Só que, em vez de estrelas e lua no céu noturno, agora isso vem embalado em UX de modo escuro. Como disse Barthes, a interpretação é o significado; as palavras em si não têm uma essência. Quando se esquece disso, surgem interpretações absurdas como “o chatbot o chamou de messias”. Parece algo novo, mas em essência não há nada de realmente novo. Antes se liam ossos e cartas; agora se leem tokens. Por ter a forma da linguagem, tratamos isso como se fosse argumento lógico, mas no fundo continua sendo adivinhação: transformar sinais complexos e probabilísticos em insight. O que estamos fazendo agora é basicamente uma nova forma de adivinhação, só que nem percebemos. É por isso que há essa sensação de mistério, e acho que isso vai ficar cada vez mais estranho. Tenho até um pouco de pena de que, no momento em que nomearmos corretamente o que de fato estamos fazendo, esse “mistério” vai desaparecer e metade da graça também
Algumas pessoas rejeitam essa metáfora da adivinhação, mas no meio técnico há uma forte tendência de achar que todo mundo entende como LLMs funcionam, e de presumir que as pessoas ao redor também entendem. Mas, quando se conversa com amigos ou familiares que não são da área, é comum ver que tratam chatbots como se fossem realmente oráculos. Muita gente até se espanta quando você explica que LLMs às vezes podem “alucinar”. Acho que, se souberem disso, a relação delas com LLMs muda, e sinto que nós, da área de tecnologia, precisamos fazer um esforço ativo para desfazer esses mal-entendidos
A metáfora soa elegante, mas o meu uso de LLM está bem longe de adivinhação. Por exemplo, perguntei o nome das pequenas fibras de uma pena e o ChatGPT respondeu “barbs”; conferi no Google e estava certo. Isso parece mais busca de informação do que adivinhação. Também quis saber sobre o g-code de um galvo fiber laser, e ele me disse que na prática isso não existe. Ainda recomendou várias soluções de controle open source. Perguntei também sobre a legislação britânica para artefatos de prata e obtive uma tradução em inglês de "besurranó tolvaj", do húngaro. Já cheguei a pedir ao ChatGPT para montar modelos em SQLAlchemy porque eu não estava conseguindo. Nada disso é algo grandioso a ponto de chamar de “tudo é adivinhação”; é só coleta de informação ou automação de código
A terminologia de IA está confusa demais. Eu também uso LLMs com frequência e gosto deles, mas, quando leio blogs de desenvolvedores, vejo expressões como “pensar” sendo usadas o tempo todo. Dá vontade de sempre perguntar: “continua sendo só combinação matemática de palavras, certo? Não é ‘pensamento’ de verdade, né?” A resposta é sempre sim... mas, logo depois, volta a enxurrada de linguagem metafórica
Isso me lembra uma previsão do Carl Sagan. Era um alerta sobre um futuro dos EUA em que a economia de serviços e informação domina a sociedade, a capacidade técnica se concentra em poucos, o público não entende a essência das coisas e, no fim, o país vai escorregando cada vez mais para uma era de superstição e escuridão
Quando você tenta refutar teorias da conspiração para amigos ou familiares, no dia seguinte recebe um vídeo narrado por uma voz de IA repetindo exatamente a mesma tese. Na maioria das vezes nem é texto gerado por LLM; é só texto do criador lido por uma voz artificial. Mas, quando se mistura uma voz tipo ChatGPT ou Siri com viés de confirmação, parece que isso leva as pessoas a venerar LLMs como se fossem um mashiach ou um oráculo
Concordo sobre a natureza dos LLMs, mas não acho que o autor entenda completamente como a IA funciona. LLMs não são apenas preditores probabilísticos baseados em uma massa gigantesca de dados da internet; o trabalho de rotulagem de dados feito por inúmeras pessoas — em geral mão de obra barata de países em desenvolvimento — é central. A sensação de que o modelo “sabe” expressar emoções e outras respostas humanas vem do fato de que essa enorme quantidade de rotuladores forneceu feedback e ajustou o sistema. No fundo, não estou conversando com um modelo probabilístico puro; estou mais perto de conversar com um rotulador de dados em algum lugar do Quênia, com seu julgamento e sua sensibilidade transformados em um transformer. Só rastrear a internet não basta. Isso dá nível GPT-2. GPT-4.5 é, na prática, “mão de obra barata” armazenada de forma eficiente
Tirando OpenAI e Google, acho difícil para quem está de fora avaliar o quanto o instruction tuning afeta de fato o desempenho ou a “sensação” dos LLMs. Pela minha experiência pessoal, modelos baseados em GPT-3 antes do instruction tuning já tinham capacidades principais muito parecidas com as de hoje. Eles só eram mais emocionais e menos previsíveis. O tuning realmente os tornou mais previsíveis e mais alinhados ao tipo de resposta que humanos querem, mas não criou capacidades completamente novas
Para ser mais preciso, o LLM moderno em formato de chatbot depende de um processo em duas etapas: pré-treinamento massivo na internet e ajuste fino com enorme volume de feedback humano. Quando muita gente acha que o modelo tem “inteligência emocional”, na prática isso reflete milhares de horas de trabalho de rotuladores de dados em regiões como a África. Não é um modelo moldado apenas por dados coletados da internet; as respostas foram refinadas por diversos tipos de feedback para parecerem mais humanas e mais seguras
Nunca vi uma reportagem realmente profunda sobre quantos trabalhadores mal pagos existem por trás dos modelos grandes. Não seria exagero dizer que talvez milhões participem disso globalmente
Às vezes o autor não convence muito. Isso porque muita gente também fala do “pensamento” humano sem explicar direito seu mecanismo, e simplesmente encerra com “isso é diferente no ser humano”. Na realidade, nós também não entendemos bem essa parte
Quando alguém diz que LLMs “não pensam, só preveem probabilisticamente a próxima palavra”, dá vontade de retrucar: afinal, o que exatamente é “pensar”? LLMs resolvem matemática, jogam xadrez e fazem isso sem treino cerebral. Então isso não é pensamento? Talvez nosso cérebro também produza saídas de forma parecida, com base em dados sensoriais e no “contexto” armazenado em sua estrutura neural
Fico sem palavras com a fala da fundadora do Bumble sobre automatizar o próprio encontro com um concierge de namoro por IA.
Também existe a realidade de que a ação da Bumble (BMBL) caiu 92% gráfico do Yahoo Finance. Muitas ideias ruins de negócios com IA não passam de empacotar, com o nome “IA”, uma fantasia que investidores querem ouvir. É exagerar a realidade para atrair capital, enquanto quase ninguém se interessa por histórias de melhora real de resultado
O setor de apps de namoro já é, há uns dez anos, um lugar que faz a gente se perguntar que diabos está acontecendo. Já é uma realidade bem distópica, e agora colocar LLM nisso parece só mais uma camada de sistema de avaliação
Vejo a fundadora do Bumble como alguém que foi rica e agora precisa fazer qualquer coisa para voltar a ser. No fim, o motor é o desejo. O fato de a Match ter o Bumble é só uma questão antitruste. A ideia em si nem é tão wild assim. Tem até episódio parecido em Black Mirror
Do ponto de vista deles, se esse modelo funcionar, então vale tentar, por mais idiota que pareça
Acho que o autor não entende completamente LLMs. Reduzi-los a simples modelos probabilísticos é inadequado. A mecânica quântica também é um enorme modelo probabilístico. Cada camada de um LLM foi projetada para olhar amplamente para o contexto e incorporar significado e situação (com o cache k-v no centro desse papel). Acho que essa estrutura se parece bastante com mecanismos cognitivos básicos do pensamento humano. Claro, ainda está longe da amplitude de raciocínio humano e é fraca em temas mais difíceis, mas a estrutura fundamental já existe. Dizer que LLMs não são nem um pouco inteligentes é uma avaliação sensacionalista que destaca apenas alguns casos. Se as pessoas os usam tão ativamente, é porque sentem algum grau de “inteligência” ali
Nem mesmo os criadores de LLMs parecem entender por completo todos os mecanismos dos modelos que construíram
À afirmação de que “a arquitetura dos LLMs descreve abstratamente o pensamento humano”, eu responderia que isso soa parecido com dizer que uma ALU faz soma de um jeito abstratamente semelhante ao modo como eu somo na cabeça. O importante é que a diferença entre uma ALU e o pensamento humano é enorme em termos fundamentais. Ao comparar LLMs com pensamento humano, não podemos ignorar que essas diferenças sutis são decisivas
Acho que este texto organiza muito bem por que a escolha exata dos termos importa. Mesmo que o público não conheça o funcionamento técnico dos LLMs, é muito importante entender o que essas ferramentas realmente fazem. A propaganda exagerada de que “a IA raciocina” pode inflar ações e valuations, mas também reduz a segurança de uso. Uma denominação mais realista, como “sistema de reconhecimento de padrões e geração de dados”, talvez ajude mais o público a entender corretamente. Discussão relacionada
Isso me lembra o que Feynman disse: “mesmo que um computador faça melhor do que um humano, se não fizer do mesmo jeito que um humano, isso não é surpreendente”. Acho que, mesmo que a IA supere especialistas em todas as áreas, as pessoas continuarão afirmando a superioridade humana enquanto o silício não “pensar”
Hassabis fala em buscar um “modelo que entenda o mundo”, mas parece comum ver críticos cometendo o erro de usar as limitações dos LLMs para dizer que essa fala em si não significa nada. IAs multimodais como o Astra, da DeepMind, produzem resultados que realmente “parecem entender”, com base não só em texto, mas também em entradas visuais e outras. vídeo de exemplo do Astra
Ainda não entendemos completamente como LLMs aprendem o significado da linguagem. Mas certamente sinto que eles de fato captam, em alguma medida, texto e conceitos, e não ficam falando só absurdo. Isso é difícil de explicar para leigos. Os leigos entram num site de IA, veem o nome “chatbot de IA”, recebem respostas “humanas” e ficam impressionados. Ele resolve lição de casa ou trabalho com eficiência, e a satisfação é enorme. Não é fácil explicar a diferença entre isso ser ou não “IA de verdade”. Eu mesmo não consigo explicar com clareza a diferença real entre LLM e IA. Tecnicamente há uma distinção sutil, mas o usuário comum não a percebe. No fim, um LLM provavelmente também conseguiria fazer muito bem um sermão de líder religioso e, com treinamento suficiente, talvez até desempenhar de fato o papel de “messias”
Mais alguém ainda passa pela situação de ver LLMs presos em um loop de repetir conhecimento/entendimento sem sair do lugar? Na minha experiência, quando eu apontava um erro e pedia para explicar de novo, muitas vezes vinha outra resposta alucinada muito parecida. Isso indica falta de autocompreensão ou auto-reflexão. Sem essa camada, acho cedo demais chamar isso de verdadeiro “entendimento” ou “inteligência”. Para mim, reconhecer honestamente os próprios limites, com algo como “não sei”, seria um sinal de alguma noção de “eu”. É quase como um teste do espelho da mente
Como o autor diz, tratar LLM como se “pensasse” ou “aprendesse” é um mal-entendido. É só um gerador de texto. Por exemplo, mesmo que ele gere código para uma API que não existe, você pode explicar à vontade que ele não vai “entender” isso. É mais eficaz fornecer a documentação relevante e induzi-lo a gerar o que você quer
Essa diferença é justamente a diferença entre viés e lógica. Um modelo probabilístico no fim aplica uma espécie de “viés”; uma calculadora faz “cálculo lógico”. Entender isso ajuda a distinguir os limites e os pontos fortes do modelo. Em ambos os casos, falta “objetividade”. Eles só processam os próprios dados; não conseguem pensar para além dos dados em si