- À medida que empresas adotam chatbots baseados em LLM para automatizar o suporte ao cliente, o acesso a atendentes humanos fica mais restrito, e respostas falsas e erros se tornam parte do cotidiano
- Esses sistemas operam de forma discriminatória conforme a classe econômica: clientes premium ainda recebem atendimento humano, enquanto clientes comuns ficam presos às respostas automatizadas
- Os LLMs estão se expandindo para áreas de julgamento ambíguo, como análise de seguros e precificação, fazendo com que as pessoas gastem mais tempo em discutir e tentar persuadir máquinas
- A responsabilidade difusa e os vieses sociais dos sistemas de ML causam danos reais, como prisões injustas e identificações incorretas, e sua estrutura complexa torna difícil responsabilizar alguém
- Se o Agentic commerce, em que LLMs automatizam pagamentos e compras, se disseminar, manipulação, fraude e repasse de custos podem se intensificar, consolidando a “desigualdade da irritação”
O desconforto da automação no atendimento ao cliente
- Empresas estão migrando consultas para chatbots baseados em LLM para reduzir custos de suporte ao cliente, e está cada vez mais difícil chegar a um atendente humano
- Com o avanço dos modelos de voz, também existe a possibilidade de automatizar o atendimento telefônico
- LLMs oferecem respostas educadas e pacientes, mas repetem mentiras e erros, atrasando a resolução dos problemas
- Esses sistemas operam de forma discriminatória conforme a classe econômica
- Clientes premium ainda conseguem acessar atendentes humanos, enquanto clientes comuns acabam presos em conversas com LLMs
- LLMs são vulneráveis à imprevisibilidade e a ataques de injeção (injection attack), por isso sua autoridade para agir fora do sistema é limitada
- São úteis para problemas simples, mas em erros administrativos complexos ou problemas sistêmicos acabam gerando ainda mais frustração
Discutindo com o modelo
- Os LLMs estão se expandindo além do suporte ao cliente para áreas de trabalho ambíguas, como análise de seguros, precificação e decisões legais
- A eficiência de custo tem prioridade sobre a precisão, de modo que, mesmo quando ocorrem julgamentos errados, o sistema é mantido se a lucratividade geral continuar preservada
- Esse ambiente gera uma nova forma de desperdício de trabalho
- Um exemplo representativo é a precificação algorítmica, em que o preço de uma passagem aérea muda conforme navegador, dispositivo ou conta usada
- Médicos precisam aprender frases específicas para convencer o LLM da seguradora, e consumidores podem acabar ajustando a própria aparência para se adequar ao reconhecimento por câmera
- Indivíduos passam a gastar mais tempo discutindo com máquinas
- O LLM é como uma “sala chinesa”, gerando respostas sem realmente compreender, sem entendimento humano genuíno
- No futuro, pode haver uma enxurrada de conteúdos de “dicas para lidar com máquinas”, como “8 vegetais para reduzir o prêmio do seguro”
- As pessoas também já usam LLMs como ferramenta para enfrentar a burocracia
- Surgem LLMs pessoais que automatizam contestação de negativas de seguro, cancelamento de assinaturas e negociação de preços
- Ainda assim, a assimetria entre empresas e indivíduos permanece, e o consumidor precisa assumir o risco financeiro causado por falhas do LLM
A difusão da responsabilidade
- É citada uma diretriz interna da IBM, de 1979: “Computadores não podem ser responsabilizados e, portanto, não devem tomar decisões de gestão”
- Sistemas de ML vêm gerando casos de dano a pessoas inocentes
- O caso de Angela Lipps, mantida presa injustamente por 4 meses devido a um erro de reconhecimento facial
- O caso em que câmeras de vigilância confundiram um pacote de salgadinhos de Taki Allen com uma arma, levando ao envio de policiais armados
- Esses casos são analisados não como simples falhas técnicas, mas como falhas de sistemas sociotécnicos
- Ausência de julgamento humano, erros processuais e desconexão entre organizações atuam de forma combinada
- Modelos de ML revestem vieses sociais com uma aparência de objetividade estatística
- Há casos de subestimação do crédito de tomadores negros, redução de serviços médicos para mulheres e erro de identificação de rostos negros
- A opacidade dos modelos e suas explicações autocontraditórias distorcem o julgamento dos revisores
- Modelos de grande escala são produzidos com inúmeras pessoas e organizações separadas entre si, o que torna a atribuição de responsabilidade ambígua
- Há uma estrutura em múltiplas camadas, composta por hospitais, seguradoras, fornecedores de modelos, provedores de dados e equipes terceirizadas
- Como resultado, enfraquece-se a percepção de responsabilidade no nível individual e a possibilidade de correção
- A tendência é de aumento das vítimas de decisões automatizadas, como em acidentes com carros autônomos e demissões com base em avaliações de desempenho feitas com Copilot
- Empresas respondem com multas ou ajustes contratuais, mas é difícil cobrar responsabilidade em nível individual
- Isso é apresentado como um problema estrutural da engenharia moderna em geral, em que quanto mais complexo o sistema, mais difícil é determinar a causa de um acidente
- Um grau de complexidade que antes exigia grandes investigações, como em acidentes aéreos, começa a se espalhar também por decisões cotidianas
Mecanismos de mercado e “Agentic commerce”
- Agentic commerce é o conceito em que um LLM passa a administrar o meio de pagamento do usuário e realizar compras automaticamente
- O LLM automatiza comparação de preços, renovação de seguros e renovação de assinaturas, eliminando etapas intermediárias de distribuição
- A McKinsey prevê redução da publicidade centrada em humanos e propõe inserção de anúncios dentro de chatbots e estruturas de negociação entre LLMs
- Porém, isso cria incentivos poderosos para manipular o comportamento dos LLMs
- Publicidade voltada a LLMs e corridas de manipulação de SEO podem evoluir para uma nova forma de guerra algorítmica
- Tentativas de induzir respostas do LLM com certos pixels, fontes ou cores, ou de impulsionar vendas por meio da contaminação dos dados de treinamento
- Plataformas como a OpenAI passam a se posicionar como intermediárias entre produtores e consumidores, lucrando dos dois lados
- A negociação automática entre LLMs corre o risco de se transformar em uma guerra mútua de “dark patterns”
- Sinais falsos, ataques de injeção e logs excessivos de transações podem gerar interações caóticas
- Alguns institutos de pesquisa preveem uma migração para pagamentos baseados em criptomoedas, mas isso pode agravar erros, fraudes e problemas de reembolso
- Se o LLM fizer uma compra errada, surge ambiguidade sobre quem é o responsável
- Deve se formar uma estrutura complexa de disputas entre processadoras de pagamento, bancos e LLMs
- Essa incerteza pode levar a aumento das taxas de pagamento e dos custos de prevenção a fraudes
- No fim, o consumidor comum acaba arcando com os custos do risco
- Consumidores talvez precisem usar perfis falsos e ferramentas de automação para enganar ou negociar com LLMs
- Isso gera fadiga e ineficiência, mas, se o mercado como um todo adotar LLMs, pode se tornar uma estrutura impossível de evitar
- Apenas os mais ricos manteriam serviços centrados em humanos, aprofundando a “desigualdade da irritação”
1 comentários
Comentários no Hacker News
Eu não preciso fazer 1000 transações por dia
Não acho que ter de aprovar cada compra vá ser uma inconveniência fatal
Não tenho a menor intenção de entregar meu cartão de crédito a um LLM. Por causa de problemas estruturais como vulnerabilidades de injeção
Também acho difícil confiar nas arquiteturas de IA do futuro pelo mesmo motivo
Ainda assim, coisas como automação de suporte ao cliente parecem um caminho inevitável
Eu já aperto 0 toda vez que ligo para a farmácia da Costco para escapar do inferno da URA
No fim, quem ganha com esses sistemas são só os acionistas e executivos
O mundo de hoje parece girar cada vez mais em torno de manipulação e ausência de verdade
LLMs são uma conquista técnica impressionante, mas o problema é que estão sendo usados de um jeito que amplia a divisão de classes
No futuro, não dá para confiar nem em grandes empresas, nem no Estado, nem em LLMs
Precisamos nos reorganizar em torno de coletivos e comunidades em que possamos confiar
O problema não era a instituição, e sim a poluição do ambiente. A economia da atenção das redes sociais destruiu a confiança
A poluição informacional afeta todo mundo e, no fim, estamos caminhando para um ecossistema informacional dominado por bots
Mesmo que pessoas e bots participem juntos, a interação baseada em regras vai se tornar importante
Mas o valor para o acionista não quer isso. No fim, vamos ter de evoluir em meio à contradição entre aumento de custos e aversão à tecnologia
Meu pai trocou a bateria da chave do carro com ajuda de IA e ficou muito satisfeito
Ele também perguntou regras do seguro para a IA e conseguiu resultados melhores do que pesquisando por conta própria
Eu mesmo agora faço perguntas simples para IA em vez de usar o Google
Na maioria dos casos, a IA já está em um nível “bom o suficiente” e às vezes é até melhor
As pessoas não se importam se isso é só um preditor de tokens. Se o resultado for bom, basta
Parece aquela estrutura em que empresas criam o problema e depois vendem a solução
Pela minha experiência trabalhando com equipes de suporte ao cliente, o objetivo de melhorar a tecnologia sempre foi reduzir o número de tickets e cortar custos
A satisfação também é medida, mas o principal é o volume de tickets
Mesmo antes dos LLMs, chatbots já eram usados por esse motivo
Mas o suporte ao cliente também funciona como um sistema de alerta precoce da empresa, então reduzir os pontos de contato humanos dificulta perceber o sofrimento dos usuários
Isso me faz lembrar da frase de treinamento interno da IBM em 1979: “A COMPUTER CAN NEVER BE HELD ACCOUNTABLE”
A razão de hoje ouvirmos repetidamente “o computador diz que não dá” está aqui
Se um gerente quiser fugir da responsabilidade, basta deixar a decisão para o computador
No fim, a IA está reforçando a automação da fuga de responsabilidade
O que mais me preocupa é a dispersão e diluição da responsabilidade
Organizações de porte médio já funcionam assim, e os LLMs provavelmente vão piorar isso
Enviei a série de textos do Aphyr para amigos, e a resposta foi “faz um resumo”
Amigos que antes participavam de discussões profundas agora só mandam resumos feitos por IA e têm conversas superficiais
Dá para sentir nitidamente a queda da atenção
Parece que muita gente só imitava conhecimento citando “vídeos inteligentes do YouTube”
Trocar textos longos e ter conversas profundas foi muito mais revigorante e significativo
A IA ainda está no começo, e toda semana surgem novas pesquisas e modelos. O futuro ainda não está definido
Compartilharam um link do archive.is
A ideia de um “boicote com modelo pessoal” para desperdiçar tokens do modelo do Burger King é interessante
Então eu simplesmente decidi aceitar os “senhores dos trilhões de parâmetros”
Os textos do Aphyr são interessantes, mas soam como uma retórica tipicamente americana
É o padrão “isso é ruim → empresas vão abusar sem regulação → estamos ferrados”
Mas quando chega a hora de propor regulação (law), todo mundo recua
Os EUA sempre foram assim. Sem regulação, empresas exploram
Mesmo que no curto prazo se ganhe menos dinheiro, uma sociedade com regulação é melhor para viver no longo prazo
Seria preciso mudar a constituição, mas isso é quase impossível na estrutura política atual
Sempre houve golpistas e vendedores de elixir milagroso em todo lugar
No fim, confiança só nasce de relações repetidas. Online isso é impossível
Daqui para frente, a confiança na marca provavelmente vai ficar ainda mais importante
E isso às vezes acaba fazendo o país ficar para trás em relação aos outros