A onda de IA está destruindo a tomada de decisão no mundo todo

• A taxa de sucesso dos projetos de IA em que a Hermit Tech participou ou observou indiretamente ao longo de um ano e meio foi de 0%, e as empresas estão tratando a adoção de IA em si como objetivo estratégico, mais do que a obtenção de resultados reais
• Chatbots internos não são usados por causa da documentação ruim, e chatbots voltados ao cliente nem sequer medem direito se resolvem problemas, mas como executivos, funcionários e fornecedores não têm incentivo para expor fracassos, continuam surgindo anúncios de ganho de produtividade
• Em organizações com mais de 500 pessoas, questionar a utilidade da IA pode colocar promoções e empregos em risco, e os funcionários passam a apresentar como resultado de IA até trabalhos feitos sem IA ou a inflar artificialmente o uso de tokens para bater métricas de avaliação
• Executivos também ficam em silêncio porque, se contradisserem clientes, conselho ou colegas, podem perder contratos ou seus cargos, e esse problema de coordenação reforça mutuamente resultados exagerados e investimentos desnecessários
• Quando se exige um elemento de IA em todo pedido de negócio, contratação ou orçamento, compras e comunicação normais deixam de funcionar; por isso, quem atua na prática precisa confirmar os fatos com conversas privadas e pesquisas anônimas e, se a situação tiver se cristalizado, se preparar para mudar de emprego ou migrar para trabalho contratual

---

O fracasso observado dos investimentos em IA

• No último ano, a Hermit Tech ficou responsável pelas vendas da empresa e, ao conversar com cerca de 300 especialistas ao redor do mundo, entrou em contato com situações de adoção de IA em organizações privadas e públicas
• A equipe concluiu que todos os projetos de IA em que participou ao longo de um ano e meio, ou que viu indiretamente em outros trabalhos, fracassaram; mesmo que existam casos de sucesso, eles pareceriam mais exceção do que resultado comum
  • A equipe recusou todo trabalho de implementação de IA e minimizou sua exposição para que, mesmo se a OpenAI desaparecesse, isso não afetasse diretamente os contratos atuais
• Mesmo que ferramentas de IA consigam acelerar tarefas específicas, a forma e a escala atuais de investimento não parecem justificadas
  • A capacidade geral das empresas de executar projetos de software costuma ser baixa, carregando os mesmos fatores que já causavam fracassos antes
  • Projetos de IA também têm risco adicional de fracasso por causa da novidade da tecnologia
  • São raras as empresas capazes de lançar software de forma estável e ainda absorver esses riscos

Interesses que escondem o fracasso

• Conselho, executivos, funcionários, fornecedores e consultores todos têm incentivo para tornar ambíguo o sucesso de projetos de IA
  • Executivos que admitem fracasso podem ser removidos do cargo
  • Funcionários que falam honestamente sobre os problemas podem ser demitidos ou incluídos em cortes
  • Algumas empresas listadas anunciam ganhos de produtividade com IA mesmo quando, além de comprar licenças do Copilot, praticamente não fizeram mais nada
• Até perguntas básicas sobre objetivo do projeto, usuários e resultados podem ser vistas como ataque à cadeia de comando
  • Quando o projeto ainda está em andamento, às vezes a resposta é que tudo vai bem porque o fracasso ainda não ficou visível
  • A Hermit Tech considera difícil intervir antes de a crise se materializar e, a menos que o cliente peça explicitamente orientação sobre estratégia geral de dados, não trata primeiro como problema os projetos de IA em andamento
• Essa abordagem se baseia no princípio de Gerry Weinberg: “consultoria é o ato de influenciar pessoas quando solicitado”

Limites dos chatbots internos e voltados ao cliente

• O projeto de IA mais comum nas empresas é o chatbot com LLM para funcionários internos ou clientes
• Quase não houve adoção real dos chatbots internos
  • Se a qualidade da documentação da empresa for baixa, o LLM não consegue obter a informação necessária para responder
  • Como só pode usar informações registradas ou tornadas acessíveis, a IA não resolve sozinha o problema de documentação
• Os chatbots para clientes também raramente proporcionaram experiências satisfatórias; uma exceção foi algo como transcrição em tempo real durante atendimento médico
• Responsáveis pelo projeto tendem a evitar métricas básicas, como uso real da ferramenta, ou a escolher métricas fáceis de manipular

• Caso de suporte ao cliente da Mitsubishi

  • Após uma pane no veículo, ao contatar a Mitsubishi, um sistema automático de atendimento com voz natural e resposta rápida registrou o problema e informou que retornaria em breve
  • Seis meses depois, o retorno não havia chegado
  • Não foi possível saber se a solicitação foi registrada com erro ou contabilizada como resolvida sem intervenção humana
  • Nas métricas do sistema isso poderia aparecer como sucesso, mas o resultado real foi o cliente decidir não comprar outro carro da Mitsubishi

Estratégia organizacional como profissão de fé em IA

• Nas organizações observadas com mais de 500 pessoas, tornou-se comum que, para manter promoções e emprego, fosse preciso repetir publicamente a crença de que a IA mudará tudo naquele negócio
• Exigem-se falas mais próximas de uma profissão de fé do que de ideias concretas de aplicação
  • Isso aparece mais em funções não técnicas, mas técnicos também entram no coro para ganhar boa vontade
  • Houve caso em que alguém afirmou que “a IA está mudando tudo” e depois não conseguiu citar um único uso de LLM dentro da organização nem uma única mudança no trabalho
  • Também houve caso de um executivo que escreveu a estratégia tecnológica, centrada em IA, de uma organização com receita anual acima de US$ 2 bilhões e admitiu nunca ter usado nenhuma ferramenta de IA, incluindo o ChatGPT
• Parte disso é exagero deliberado para parecer visionário, mas o texto considera ainda mais perigoso quando alguém sem base técnica realmente acredita no que está dizendo
• Uma organização demitiu seus melhores profissionais porque haviam obtido resultados sem usar LLM, e manteve a mesma decisão não só na comunicação externa, mas também com seu próprio dinheiro e estratégia interna

Uso de IA imposto a especialistas técnicos

• Tanto céticos quanto entusiastas da IA concordam que obrigar o uso de LLM por decisão da diretoria é uma má estratégia
  • “Contra Ptacek’s Terrible Article On AI” avalia de forma diferente a utilidade dos LLMs em relação a “My AI Skeptic Friends Are All Nuts” de Thomas Ptacek
  • Ainda assim, ambos chegam à mesma conclusão: é inadequado impor a profissionais especializados uma forma específica de trabalhar
• Quando executivos não técnicos tornam obrigatórios procedimentos e ferramentas concretos sem o consentimento dos especialistas, surge o mesmo problema de um CEO de hospital ou de empresa de engenharia civil ditar diretamente técnicas médicas ou de construção aos profissionais

• Lavagem de IA e ranking por tokens

  • Como gestores demonstram insatisfação mesmo com bons resultados quando a IA não foi usada, funcionários fazem o trabalho da forma tradicional e depois mentem dizendo que foi o Claude que fez
  • Algumas organizações mantêm rankings que avaliam melhor quem gera mais custo de IA ou consome mais tokens
  • Engenheiros responsáveis por otimização de sistemas fazem o LLM repetir prompts sozinho para elevar o consumo
  • Mesmo quando julgam a saída imprópria para implantação, descartam aquilo e seguem com outro trabalho, deixando apenas o uso registrado
  • Um engenheiro relatou que manda a IA reescrever em Zig uma cópia inteira de um repositório em Go e depois ignora o resultado
  • Pessoas que manipularam métricas dessa forma não foram pegas, enquanto houve casos em que apenas os que demonstraram dúvida visível em relação à estratégia foram demitidos
  • No fim, os funcionários aprendem que o seguro é elogiar a estratégia de IA da diretoria

Como demos de IA dominam a decisão de compra

• Uma das principais infraestruturas que a Hermit Tech distribui para clientes é o banco de dados analítico por uso Snowflake
• O Cortex, da Snowflake, é uma camada de IA que usa metadados como o significado das colunas para consultar o banco de dados da empresa em linguagem natural
  • Ele pode responder a perguntas como “qual foi a receita da semana passada?”
  • O autor lembra que, em uma apresentação de um funcionário da Snowflake, mesmo em uma configuração ideal, a precisão ficava em cerca de 92% por causa da complexidade dos dados corporativos em grande escala
  • Se cerca de 1 em cada 10 números vistos por um CFO puder estar errado, isso já é um problema grave, e também haveria sérias questões de governança de implantação, o que o torna inadequado para produção
• Ainda assim, o Cortex era muito fácil de transformar em uma demo impressionante

• A demonstração que fez ignorarem o alerta

  • Um cliente inicialmente morno em relação à proposta quis comprar imediatamente depois de ver uma demo de consulta de dados em linguagem natural
  • Mesmo após receber um alerta claro de que aquilo não entregaria o resultado desejado, tentou concentrar o orçamento no chatbot, deixando de lado até ganhos de milhões de dólares possíveis com abordagens sem IA
  • A Hermit Tech considerou irresponsável explorar essa falha de julgamento do cliente, além de ver grande risco reputacional e jurídico, e interrompeu a venda; depois disso, removeu o Cortex da lista de demos
  • A demo havia sido feita em cerca de duas horas, apenas inserindo descrições dos dados no navegador, mas ainda assim funcionava melhor do que qualquer resultado obtido pelos investimentos anteriores de potenciais clientes, incluindo uma empresa listada na ASX que já promovia seu uso de IA
  • Depois disso, passaram a encerrar negociações com todos os potenciais clientes que demonstravam uma obsessão forte por IA, além de um interesse passageiro
  • O motivo não era só recusa moral, mas também a dificuldade de evitar riscos reputacionais e jurídicos no processo contratual
  • O ambiente de gestão criado por esses clientes também havia se tornado religioso e ineficiente

O problema de coordenação que prende os executivos

• Parte dos executivos encarregados de grandes iniciativas de IA ou de declarações públicas exageradas não acredita no que está dizendo
  • Alguns chefes de IA de empresas com mais de US$ 1 bilhão em receita recorrente anual disseram considerar o cargo uma ficção, mas o aceitaram por ser o único caminho de promoção na organização
  • Vários CISOs são discretamente céticos em relação a iniciativas de IA, mas têm medo de se opor publicamente
• Um executivo de uma empresa da Fortune 500 disse que, quando executivos de clientes alegam aumento de produtividade de 100x, se o fornecedor negar isso poderá abalar a confiança da direção do cliente e perder o contrato corporativo
• Fornecedores também são clientes de outros fornecedores, então os executivos de cada empresa temem ser os primeiros a sofrer prejuízo por contrariar o exagero do outro lado
• Isso cria um problema de coordenação que dificulta falar honestamente sobre resultados de IA
  • Se todos mantiverem a posição atual, conseguem preservar seus cargos
  • Se uma pessoa negar resultados falsos, pode ser vista como alguém que chamou colegas de mentirosos, covardes ou incompetentes e acabar demitida
  • A vaga deixada por quem sai será preenchida por alguém que siga a posição anterior
  • A situação poderia mudar se todos admitissem ao mesmo tempo, mas não há meio de coordenar isso
• Membros de conselhos do S&P 500 também demonstram ansiedade de que precisam exigir investimentos em IA para manter seus lugares
  • Um deles afirmou: “investir tão cedo assim parece oferecer pouco potencial de alta e apenas risco”
  • Cerca de dois anos depois, essa empresa multibilionária passou a se vender como AI-native

O teste de pureza de IA que tudo precisa passar

• Como a estrutura não permite questionar publicamente a crença em IA, a tomada de decisão normal das organizações está parando
• Funcionários são avaliados por métricas fáceis de manipular, como valor gasto com IA, e recusar compras desnecessárias levanta suspeitas sobre sua lealdade à estratégia de IA
• Toda proposta afetada por política interna precisa incluir algum elemento de IA, mesmo quando seu valor não está claro
• Muitos projetos de IA são, na essência, projetos antigos aos quais se acrescentou uma etapa de IA para passar no teste de pureza da organização

• Caso de migração de Oracle para Snowflake

  • Uma organização, ao migrar um banco Oracle para Snowflake, acrescentou como etapa preliminar a conversão automática de Oracle SQL para Snowflake SQL com LLM
  • Quando a automação fracassou por falta das permissões necessárias, o fornecedor converteu o SQL manualmente
  • A causa do fracasso não foi a capacidade de conversão do LLM, mas a falta de permissões para a automação
  • Como alguns SQLs sem importância foram colados após conversão por IA, o projeto inteiro foi faturado como sucesso baseado em IA
  • O que de fato estava sendo comprado era uma migração padrão de banco de dados para aposentar o sistema antigo antes da renovação de licença
  • Para cima, a mensagem enviada foi que “uma parte significativa do orçamento foi alocada à IA e o objetivo foi alcançado”

O destino de projetos aos quais mal se pode chamar de IA

• São raros os projetos de IA genuínos em que o LLM seja o único mecanismo central e o sucesso ou fracasso possa ser claramente julgado pelo cumprimento de metas numéricas específicas
• Esse tipo aparecia principalmente em startups, mas algumas, depois de anunciar ao mercado que o produto estava pronto, pediam no fim da conversa comercial que a Hermit Tech o construísse por elas
• Se não for possível adicionar um elemento de IA, ou se o proponente se recusar a maquiar a proposta, o pedido de orçamento desaparece ou todos os documentos precisam ser reescritos para parecerem “IA o suficiente”
• Também cresce o número de empresas que exigem prova de que se tentou resolver com IA antes de pedir contratação de pessoal adicional
  • Se alguém disser que usou IA, mas ainda precisa de gente, pode ser classificado como “alguém que não sabe usar IA” e entrar em risco de corte
• Fora as poucas empresas em que a IA de fato resolve a prioridade número um, grandes organizações têm cada vez mais dificuldade para se concentrar em compras racionais de software, contratação de talentos, relato do estado de projetos e execução de negócios importantes

Quando é preciso consertar um projeto específico

• Se o objetivo for atingir uma meta específica ou corrigir um projeto, em vez de mudar a crença em IA da organização inteira, é melhor evitar confronto público

• Conversas individuais e anonimato

  • É melhor não levantar problemas de projetos de IA em reuniões de grupo
  • Cada participante teme parecer cético diante dos colegas
  • É preciso marcar conversas individuais, dizer que se aceita a possibilidade de o ambiente de IA estar superaquecido e garantir a proteção da identidade de quem falar
  • Devem-se remover pistas, como citações diretas, que permitam a colegas identificar quem falou
  • Se só 1 em cada 6 pessoas estiver disposta a apontar problemas, talvez seja melhor migrar para outra organização ou projeto com mais chance de melhoria

• Encontrar divisões ocultas com avaliação anônima

  • Uma pesquisa anônima pedindo para avaliar de 1 a 10 a chance de sucesso de um projeto em andamento pode ser eficaz
  • O resultado típico observado foi uma distribuição bimodal, com metade dando nota 3 e o restante algo como 8
  • Essa divisão aparecia até em projetos já atrasados em três anos
  • Mostrar esse resultado ao CEO pode confirmar que informações sobre o estado do projeto estão sendo escondidas

• Por que é preciso pesquisar os usuários reais

  • As equipes de linha de frente que usam a ferramenta no trabalho diário são a única fonte de dados capaz de julgar o retorno do investimento
  • É preciso fazê-las falar em um ambiente em que sejam respeitadas, pois em grandes organizações pode haver gente que não vê subordinados como iguais
  • Em um cliente, descobriu-se que os funcionários nem sabiam que tinham recebido licenças da ferramenta de IA, abalando a base das alegações anteriores de produtividade

• Não entrar em choque direto com a crença ampla

  • Se o objetivo for resolver um problema específico, é melhor deixar passar falas genéricas como “a IA muda tudo”
  • Só depois de ganhar a confiança da pessoa no cargo mais alto é que se pode desafiar a percepção de realidade da organização
  • A confiança se forma mais em um almoço privado, reduzindo a ansiedade do outro, do que expondo-o em público
  • Antes de entrar numa reunião, é difícil saber quem já assumiu quais compromissos publicamente
  • Quem já declarou que “a produtividade aumentou 100x em relação ao ano passado” pode não conseguir voltar atrás por questão de imagem, mesmo querendo
  • Até uma afirmação de senso comum como “LLMs não devem colocar código em produção sem revisão humana” pode romper a relação logo no início
  • Se o objetivo de interesse público for importante, uma estratégia realista de sobrevivência pode ser anexar um chatbot de IA de US$ 10 mil ao negócio principal e destacar só essa parte nas reuniões

Quando é preciso aguentar dentro da organização

• É preciso aceitar que, na prática, é difícil resistir a isso, e que o problema está menos na IA em si do que na cultura corporativa disfuncional
• Trocar um cargo efetivo por trabalho contratual pode aumentar a remuneração e afastar a pessoa da política interna, além de haver uma data definida para o fim do contrato mesmo em situações difíceis
• O consumo de notícias sobre IA deve ser limitado ao ponto de reduzir o desgaste mental
  • Evite lugares como Hacker News e Reddit, onde esse tipo de notícia chega sem parar
  • Leia só o suficiente para manter o senso de realidade e depois pare
  • Mesmo ao reclamar com amigos, pode ser útil deixar claro de antemão qual é o objetivo da conversa
• Se alguém usar IA de forma inadequada, mas sem risco físico imediato, o melhor pode ser apenas concordar superficialmente e seguir em frente
• Se, como programador, pedirem sua opinião sobre IA, a recomendação é responder apenas que “há exagero nisso” e mudar de assunto, a menos que a outra pessoa possa influenciar decisões importantes

• Quando uma enxurrada de código de IA toma conta do trabalho

  • Se você precisa revisar continuamente PRs de 2.000 linhas, de baixa qualidade e gerados por IA, deve começar a procurar emprego imediatamente, assumindo que a organização acabará esgotando os revisores e depois demitindo-os
  • É difícil convencer quem gera esse material a mudar a forma de trabalhar, e vale mais a pena se preparar para sair enquanto ainda há energia
  • Mesmo que a velocidade de entrega caia por causa da busca de emprego, se não fizer isso o mesmo problema aparecerá depois por exaustão e depressão

• Quando o gestor conversa com frases geradas por IA

  • Se o gestor responde com texto obviamente gerado por IA, o melhor é responder do mesmo modo para reduzir a carga mental e procurar outro emprego
  • Esse tipo de gestor pode até ver positivamente o uso de IA pelo funcionário, em vez de considerá-lo falta de respeito
  • Se ainda exigirem que você maximize o consumo de tokens, é sinal de que precisa se preparar para sair da organização atual
  • Existem empresas com menos desse problema, mas muitas são pequenas e não aparecem com facilidade em plataformas de vagas, então a busca pode levar meses e deve começar cedo

Um problema que vai permanecer no longo prazo

• Mesmo que a bolha atual de IA acabe um dia, características irracionais já instaladas na liderança podem ser reativadas depois por outra moda
• Algumas organizações podem permanecer ideologicamente capturadas até colapsarem por completo, como ocorreu com casos que nunca saíram da febre do blockchain
• Por enquanto, dentro do limite em que seja possível recuperar julgamento normal, é preciso reunir dados privados e opiniões de quem está na linha de frente e, nas organizações que não podem ser mudadas, priorizar o senso de realidade e a capacidade pessoal de sobrevivência