- Nos últimos 18 meses, a taxa de sucesso dos projetos de IA observados ou para os quais foi solicitada participação foi de 0%; a incerteza da tecnologia somada à má gestão de projetos de software existentes impediu que os investimentos se convertessem em resultados
- Em organizações com mais de 500 funcionários, apenas duvidar da utilidade da IA já põe promoções e empregos em risco, e os funcionários se ajustam às exigências da organização por meio de AI washing e manipulação do uso de tokens
- Demos de IA chamativas, como consultas a dados em linguagem natural, disparam o entusiasmo de compra mesmo quando se alerta sobre limites de precisão e operação, podendo gerar riscos reputacionais e legais para o vendedor
- Por causa de um problema de coordenação, no qual clientes e conselhos não conseguem negar as alegações exageradas de produtividade uns dos outros, até executivos céticos apoiam publicamente investimentos em IA, e elementos de IA acabam sendo forçados até em negócios que não são de IA
- Para corrigir uma organização, são necessárias conversas individuais, pesquisas anônimas e validação em campo; funcionários que dificilmente conseguem escapar da política interna devem se preparar para mudar de emprego ou virar contratados antes de se esgotarem com código gerado por IA
O fracasso dos projetos de IA observado ao longo de 18 meses
- Pela experiência de ter conduzido as vendas da empresa e a maior parte do trabalho técnico no último ano, em cerca de 300 conversas com especialistas do mundo todo, responsáveis por organizações privadas e públicas estavam mergulhando em IA sem planejamento ou permanecendo em silêncio
- É difícil confirmar os resultados reais de projetos de IA porque conselhos, executivos, funcionários, fornecedores e consultores não têm incentivo para tornar fracassos públicos
- Executivos podem perder seus cargos se admitirem o fracasso
- Funcionários podem se tornar alvo de demissões ou reestruturações
- Algumas empresas listadas em bolsa compram licenças do Copilot e depois anunciam isso como ganho de produtividade com IA
- Todos os projetos observados ou para os quais foi solicitada participação fracassaram ao longo de 18 meses; a equipe recusou todo trabalho de implementação de IA e manteve apenas contratos que não dependessem diretamente da sobrevivência da OpenAI
- Mesmo que ferramentas de IA acelerem certas tarefas, a forma e a escala atuais dos investimentos não se justificavam
- Todos os fatores de fracasso de projetos comuns de software continuam presentes
- Há o risco adicional de ser uma tecnologia nova, que pode levar ao fracasso mesmo com uma implementação correta
- Poucas empresas têm capacidade de entrega de software boa o bastante para suportar esse risco
Por que chatbots internos e para clientes não entregam resultados
- Chatbots internos não conseguem produzir respostas suficientes porque a qualidade dos documentos corporativos é baixa, e o uso real pelos funcionários também não foi significativo
- Chatbots voltados a clientes também raramente tiveram casos satisfatórios, com a transcrição em tempo real durante consultas médicas como exceção
- Responsáveis por projetos evitam métricas básicas que mostram se a ferramenta está realmente sendo usada e escolhem métricas fáceis de manipular
- O bot de voz da Mitsubishi para suporte a falhas em automóveis tinha alto nível de acabamento, com voz natural, respostas rápidas e ambiente operacional real, mas o retorno prometido não chegou durante 6 meses
- Não foi possível saber se a solicitação desapareceu ou se foi contabilizada como resolvida sem intervenção humana
- Mesmo sem erro visível no sistema, o cliente decidiu não comprar novamente um veículo Mitsubishi
- Apenas perguntar sobre o objetivo, os usuários e os resultados de um projeto de IA em andamento pode ser recebido como um ataque à estrutura de responsabilidade, dificultando intervenções antes de uma crise
- Seguindo o princípio de Gerry Weinberg de que consultoria é influenciar pessoas quando elas pedem, não se intervém em um projeto a menos que seja explicitamente solicitado aconselhamento sobre estratégia geral de dados
Uma cultura organizacional que não permite dúvidas
- Em todas as empresas observadas com mais de 500 funcionários, era necessário declarar repetidamente o poder transformador da IA para manter promoções e emprego
- Não era apenas propor usos técnicos, mas algo próximo de uma profissão de fé religiosa, conduzida principalmente por pessoas não técnicas e apoiada também por alguns técnicos
- Houve casos de pessoas que diziam “a IA vai mudar tudo”, mas não conseguiam apresentar nem um caso de uso de LLM dentro da organização ou algo que tivesse mudado
- Houve até um executivo que criou uma estratégia tecnológica centrada em IA para uma organização com receita anual de mais de US$ 2 bilhões sem nunca ter usado ferramentas de IA, incluindo o ChatGPT
- Mais perigoso do que uma mentira promocional simples era quando responsáveis sem base técnica realmente acreditavam no que diziam
- É possível negociar com mentirosos usando interesses próprios como mediação, mas crentes verdadeiros não se abalam nem diante dos próprios interesses
- Uma organização demitiu seus melhores profissionais porque eles tinham alto desempenho sem LLMs
- Mesmo discordando da posição crítica de “My AI Skeptic Friends Are All Nuts”, há concordância de que a obrigatoriedade do uso de LLMs pela gestão é uma estratégia ruim e impõe restrições de trabalho anormais a profissionais especializados
AI washing e métricas de avaliação manipuláveis
- Quando gestores passaram a valorizar o uso de IA mais do que os resultados, engenheiros começaram a praticar AI washing, trabalhando do modo tradicional e depois relatando que Claude havia feito o trabalho
- Algumas organizações operam rankings que dão avaliações melhores quanto maior for o consumo de tokens
- Funcionários contratados por sua capacidade de otimização de sistemas configuraram LLMs para repetir prompts por conta própria
- Mesmo quando a saída era inadequada para implantação, eles apenas preenchiam o uso de tokens e faziam outras coisas
- Um engenheiro de software preencheu sua cota de uso dando a uma IA uma cópia de um repositório em Go, mandando reescrever tudo em Zig e depois descartando o resultado
- Os alvos reais de demissão eram pessoas que levantavam dúvidas visíveis sobre a estratégia de IA, e os funcionários aprenderam que elogiar a visão de IA da diretoria era o mais seguro
- Assim como gestores não especialistas de hospitais ou empresas de engenharia civil não impõem procedimentos específicos sem a concordância de especialistas de campo, também é inadequado que gestores não técnicos obriguem especialistas em software a usar uma ferramenta específica
A febre de compras disparada pela demo do Snowflake Cortex
- O Snowflake cobra por uso e era usado como banco de dados analítico porque dados corporativos comuns podiam ser processados por cerca de 1 minuto por dia, mas a camada de chatbot de IA, Cortex, não era usada
- O Cortex converte perguntas em linguagem natural, como “qual foi a receita da semana passada?”, em consultas ao banco de dados com base em metadados, como o significado das colunas de dados
- Em uma apresentação de funcionários da Snowflake, a precisão na configuração ideal era de cerca de 92%; em dados de grandes empresas, cerca de 1 em cada 10 números poderia estar errado, e havia também problemas sérios de gerenciamento de implantação
- A demo foi mostrada junto com um alerta de que não era adequada para ambiente de produção, mas todos os potenciais clientes que estavam mornos passaram imediatamente a querer comprar
- A proposta de gerar milhões de dólares em valor por métodos sem IA também perdeu espaço no interesse
- Por considerar irresponsável explorar a ausência de julgamento racional, as vendas foram interrompidas e o Cortex foi removido da lista de demos
- Mesmo uma demo de baixa qualidade feita pela equipe em duas horas era melhor do que resultados que potenciais clientes já tinham visto antes
- Até uma empresa listada na ASX que já promovia seu uso de IA não tinha resultados a mostrar dos investimentos existentes
- Potenciais clientes que demonstravam mais do que curiosidade temporária por IA revelavam, no processo de vendas, comportamentos irracionais e ambientes de gestão próximos da adoração; como contratos poderiam gerar riscos reputacionais e legais, todos os negócios foram abandonados
O problema de coordenação que impede executivos de parar de exagerar
- Alguns responsáveis por IA em empresas com mais de US$ 1 bilhão em receita recorrente anual disseram achar que seus cargos eram, na prática, falsos, mas os aceitaram porque eram o único caminho de promoção dentro da organização
- Mesmo um executivo com competência técnica de uma empresa Fortune 500 não conseguia defender em particular as declarações públicas da empresa, como “100 vezes mais produtividade”
- O principal motor do exagero não era o texto de vendas, mas a reputação dos executivos clientes e a relação contratual
- Se um executivo do fornecedor negar a alegação de produtividade 100 vezes maior feita pelo cliente, isso pode ser interpretado como um ataque que mina a credibilidade do executivo cliente
- Se, como resultado, um grande contrato corporativo for cancelado, o executivo do fornecedor também pode ser demitido
- Em relações nas quais empresas são ao mesmo tempo clientes e fornecedoras umas das outras, nenhum executivo consegue ser o primeiro a dizer a verdade
- Se todos colaborarem com o exagero, conseguem manter seus cargos
- Se uma pessoa desertar, ela acaba fazendo seus colegas parecerem mentirosos, covardes ou incompetentes, podendo ser demitida
- Se todos admitissem ao mesmo tempo, a situação poderia mudar, mas não há como coordenar isso
- Membros de conselhos de empresas do S&P 500 também duvidavam dos riscos de investimentos em IA, mas sentiam que precisavam exigir investimentos para preservar seus cargos
- Um conselheiro avaliou: “investir tão cedo parece assumir apenas risco, sem potencial de valorização”
- Cerca de 2 anos depois, aquela organização de dezenas de bilhões de dólares passou a se promover como AI-native
Testes de pureza que embrulham todo negócio como IA
- Toda proposta que envolva política interna precisa incluir alinhamento com IA para ser aprovada, mesmo quando o valor real é incerto
- Muitos projetos de IA eram, na verdade, projetos existentes sem IA aos quais elementos de IA foram acrescentados depois para passar no teste de pureza
- Em um caso de migração de banco de dados do Oracle para o Snowflake, o fornecedor adicionou uma etapa para automatizar com LLMs a conversão de Oracle SQL para Snowflake SQL
- Como a automação falhou por falta de permissões, humanos fizeram a conversão manualmente
- Pelo simples fato de parte do SQL ter sido traduzida por IA, todo o projeto foi reportado como um sucesso baseado em IA
- O que estava sendo comprado de fato era uma migração de banco de dados comum para descontinuar o sistema existente antes da renovação de licenças
- Projetos genuínos de IA, nos quais LLMs são o único mecanismo central e o sucesso pode ser julgado por números concretos, eram raros
- Apareciam principalmente em startups, mas os negócios eram repetidamente interrompidos no fim do processo de vendas porque pediam que fosse criado no lugar delas um produto que já haviam anunciado como pronto
- Negócios nos quais é difícil anexar IA têm pedidos de verba rejeitados, ou a comunicação é atrasada até que a proposta se torne “suficientemente IA”
- Algumas empresas exigem que, ao pedir mais pessoal, se prove antes que a IA já foi tentada
- Se a pessoa diz que usou IA e ainda assim precisa de gente, pode ser classificada como “alguém que usa IA errado” e ser demitida
- Exceto por um número muito pequeno de empresas em que a IA realmente coincide com as prioridades máximas, grandes organizações passaram a ter dificuldade para se concentrar em comprar software adequado, contratar talentos, relatar projetos honestamente e tocar novos negócios de forma racional
Quando é preciso corrigir um projeto específico
- Problemas em projetos de IA são tratados de forma mais eficaz em conversas individuais do que em reuniões coletivas
- Em público, cada participante teme parecer cético diante dos colegas
- É preciso prometer anonimato ao levar opiniões para outros lugares
- Devem ser evitadas formas que permitam inferir a fonte, como citações diretas
- Se apenas cerca de 1 em 6 pessoas fala sobre os problemas, pode ser melhor mudar para uma organização com mais chance de melhoria
- Em projetos em andamento, pode-se usar o método de pesquisa anônima aprendido em Secrets of Consulting
- Ao pedir que avaliem a chance de sucesso de 1 a 10, pode surgir uma distribuição polarizada, com alguns dando 3 e outros 8
- Essa diferença apareceu até em um projeto já atrasado 3 anos e pode mostrar ao CEO que informações importantes estão sendo ocultadas
- O sucesso real de um projeto deve ser verificado com funcionários de campo que usam a ferramenta todos os dias
- Eles precisam poder opinar em um ambiente em que sejam respeitados
- Em um cliente, funcionários nem sabiam que tinham recebido licenças da ferramenta de IA, abalando a base das alegações de ganho de produtividade
- Se a situação é resolver um problema específico, é melhor não refutar proposições abrangentes como “a IA vai mudar tudo”
- Para desafiar a própria visão de realidade da organização, é preciso primeiro conquistar a confiança do principal responsável
- Em vez de envergonhá-lo em público, deve-se reduzir sua ansiedade em um jantar privado
- Como não se sabe que declarações públicas cada participante da reunião fez no passado, até um bom senso como “LLMs não devem implantar código sem revisão humana” pode destruir a formação inicial de confiança
- Se for necessário atingir outro objetivo de interesse público e uma abordagem honesta for impossível, até anexar ao projeto um chatbot de IA de US$ 10 mil e destacar apenas essa parte é visto como uma opção realista
Quando é preciso sobreviver em vez de mudar a organização
- A obsessão coletiva por IA é um problema de cultura corporativa disfuncional mais do que da tecnologia em si, tornando difícil para um indivíduo resistir de forma significativa
- Mudar de funcionário fixo para contratado pode trazer remuneração maior e afastamento da política interna, além de dar uma data clara de término mesmo em um ambiente insuportável
- É melhor consumir notícias de IA apenas na medida necessária e evitar canais que fornecem esse conteúdo continuamente, como Hacker News e Reddit, para reduzir a carga mental
- Mesmo ao reclamar com amigos, é preciso explicar por que essa conversa é necessária e parar em um nível adequado
- Se pessoas ao redor usam IA de forma inadequada, mas não perigosa, a recomendação é deixar passar sem discutir; se pedirem a opinião como programador, responder brevemente que “há exageros” e mudar de assunto
- Se for preciso continuar revisando PRs de 2.000 linhas gerados por IA, deve-se partir do pressuposto de esgotamento e demissão e começar a procurar emprego enquanto ainda há energia
- É difícil convencer quem os gera a parar com grandes volumes de código de baixa qualidade
- A desaceleração no trabalho e a insatisfação do gestor vão surgir de qualquer forma: agora, por causa da busca de emprego, ou depois, por causa do esgotamento
- Se um gestor responde com textos claramente gerados por IA, é melhor responder com IA para poupar energia enquanto procura um novo emprego
- Mesmo quando houver exigência de maximizar o uso de tokens, é preciso se preparar para sair antes de perder o senso de realidade
- Empresas assim podem existir em organizações pequenas que não aparecem bem em plataformas de contratação
- Como encontrá-las pode levar meses, é preciso começar cedo
1 comentários
Comentários do Hacker News
A maioria de nós estava razoavelmente convencida de que a IA transformaria completamente a sociedade e traria a singularidade, mas a realidade não foi essa. Em vez de admitir o erro e reavaliar, estamos forçando IA em qualquer brecha e encenando um teatro de futuro enquanto chamamos isso de progresso
É parecido com uma criança dos anos 1990 que acreditava que, ao vestir a Nintendo Power Glove, viraria um hacker, e isso não é a singularidade. Espero que essa febre acabe e que todos voltem a esperar pela próxima solução milagrosa
Para mim, que saí da indústria de software e não posso programar 40 horas por semana, a IA agentiva é um salto tecnológico comparável a mecanismo de busca, fóruns eletrônicos e compiladores. Se eu pedir ao Claude Code para configurar SMTP no meu homelab, modernizar e assinar um app Android de 2017, ou montar runners do GitHub Actions para vários sistemas operacionais e arquiteturas, ele entrega resultados enquanto eu lavo a louça
Quem nega isso como algo sem importância é que está caindo numa psicose sobre a psicose da IA. Mesmo que a inteligência dos modelos bata no teto agora, isso já é uma tecnologia que muda o jogo
As pessoas vão usar LLMs de forma apropriada no trabalho, mas também cometerão muitos erros por não entender bem o próprio trabalho nem o resultado que os outros querem. Executivos que quase não usam tecnologia além de e-mail, mensagem de texto e telefone vão continuar falando sem entender a tecnologia
Ninguém sabe qual será o resultado final, mas basta usar Claude por 5 minutos para ser difícil imaginar que todo trabalho de escritório vai permanecer igual ao passado
Mesmo que ela alcance o nível do cérebro humano, ainda precisaria aumentar a eficiência em várias ordens de grandeza para acompanhar a produção de toda a sociedade humana, e só então poderia superar a velocidade do progresso humano. Mesmo que a singularidade da IA seja possível, a aceleração pode levar uma vida inteira
Com a IA pode ser igual: desde a proposta do teste de Turing em 1950 até o surgimento de sistemas que parecem tê-lo superado, passaram-se cerca de 75 anos, então é preciso dar mais tempo
Concordo com a parte que diz: “uma organização que manda você revisar em massa PRs de 2.000 linhas cheios de código horrível feito por IA vai acabar te esgotando e demitindo; então procure outro emprego como se já tivesse sido demitido”. Acho que isso vai acontecer com mais frequência à medida que o desenvolvimento agentivo for adotado amplamente
É preciso encontrar e organizar as condições para aumentar o throughput em duas ou três vezes, concentrando-se nos gargalos e nas partes mais difíceis. Digo isso como alguém que já fez isso na prática
A frase “todos os projetos de IA que observei por um ano e meio fracassaram, então a taxa de sucesso é 0%” é exagerada e reduz a credibilidade. Quando se fala em IA, isso pode abranger desde sistemas especialistas até LLMs, transformers e modelos de difusão
Há ganhos de produtividade em busca semântica, geração de conteúdo com modelos de difusão e até em regressão linear no contexto de aprendizado supervisionado. Mesmo limitando ao transformer LLM que reacendeu o interesse recente, pequenos projetos para automatizar tarefas simples e tediosas em geral tiveram sucesso
Projetos ambiciosos que exigem mais do que a capacidade do modelo tendem a fracassar, e isso costuma ser previsível de antemão, mas alguns na fronteira do possível são projetos legítimos de P&D
Isso é viés de seleção: anunciam apenas para empresas que já estão fracassando por falta de expertise interna e depois escrevem que todos os projetos que viram fracassaram. Como ainda recusam prestar suporte, bloqueiam até a possibilidade de esses casos virarem histórias de sucesso
Parece que ele não gosta de linguagem corporativa educada, mas eu gosto desse estilo e ele frequentemente traz pontos de vista perspicazes que vão contra os costumes do setor
Métricas como linhas de código, testes unitários, documentação e velocidade de PR aumentaram, mas o resultado real para o negócio continua incerto. Mais PRs podem antecipar o lançamento de funcionalidades, mas também podem atrasar a revisão ou arruinar a experiência do usuário com bugs. As empresas não explicam como mais código se converte de fato em receita
No primeiro caso, se não houver rejeição ativa à tecnologia, é fácil para um engenheiro de software obter resultados úteis. No segundo, é muito difícil porque tudo precisa ser construído sobre a base peculiar dos LLMs, e projetos óbvios como chatbots internos tendem a acabar em promessas exageradas e resultados abaixo do esperado
Vi executivos, em duas empresas completamente diferentes do outro lado do planeta, tentando usar LLMs para redigir documentos externos com grande impacto jurídico e financeiro. Eles sempre dizem que um especialista lê e verifica os fatos antes do envio, mas pessoas cuja especialidade não é edição e checagem de fatos tendem a ser muito mais descuidadas ao revisar do que seriam se tivessem escrito corretamente desde o começo
São ótimas as histórias de que “para manter o emprego, você precisa fazer com que reescrevam toda uma cópia do repositório de Go em Zig enquanto faz outra coisa”, ou de que, como executivos de clientes alegam produtividade 100x, se um executivo do fornecedor disser que isso não é realista pode minar a confiança do executivo do cliente e levar ao cancelamento de um contrato corporativo
Dizem que “a taxa de sucesso de todos os projetos de IA observados foi 0%”, mas não há definição de projeto de IA. É preciso exemplos concretos: é escrever software do zero, não desenvolvedores usando chatbots com LLM interna ou externamente, ou outra coisa?
Concordo totalmente com a crítica do rei está nu sobre automação de trabalho, mas surpreende não terem abordado a engenharia assistida por IA, que tem sido positiva para muita gente. Chatbots também podem ter sucesso se o escopo do problema for limitado e a escolha for adequada. Na empresa anterior, tivemos bons resultados com uma interface conversacional para um banco de dados vetorial, mas o verdadeiro núcleo era o banco de dados vetorial, e uma UI tradicional talvez fosse mais rápida e precisa.
No geral, a direção do texto está em grande parte correta, especialmente na parte sobre a febre da IA e as expectativas irreais que tomaram a alta gestão
Minha experiência usando Claude para escrever SQL avançado e código Python não bate com a tese do texto. Ainda não vi pessoalmente um chatbot realmente satisfatório para consultar dados em linguagem natural, mas ao escrever consultas muito complexas em linguagem natural consegui chegar a 80–90% do resultado.
Empresas que estão avançando à frente dos concorrentes com IA provavelmente a usam em silêncio, sem grande divulgação. O alvo do texto são grandes empresas cheias de gestores, e esse tipo de organização já agia do mesmo jeito antes da IA com ciência/análise de dados ou blockchain
Qualquer um pode usar LLM para dar uma aparência plausível a más ideias, e uma ideia errada de um vice-presidente mediano pode acabar sendo seguida pela organização inteira, gerando uma enorme perda de produtividade
O desenvolvimento de funcionalidades ainda leva mais ou menos o mesmo tempo, ou os ganhos de produtividade são limitados. Parece ser porque a maioria das organizações cronicamente não sabe construir software em si
Na semana passada recebi pesquisas de dois lugares diferentes perguntando como se usa IA no trabalho, e ambas eram questões de múltipla escolha que não permitiam selecionar zero opções e estavam marcadas como obrigatórias
Não sei se a adoção corporativa de IA realmente gera enormes ganhos de produtividade, mas para os vendedores de pás como Nvidia e Anthropic isso faz perfeito sentido
Mesmo apontar que o rei está nu não vai parar a febre. Além da tulipomania do século XVII, procedimentos ágeis, cronogramas de trabalho e medição de produtividade por linhas de código são semelhantes; as empresas repetem, em cada época, novas febres coletivas.
Isso é provocado pelo proceduralismo de especialistas em consultoria, pelo excesso de controle da área de segurança, pelo medo de ficar para trás e por metas de apresentação para parecer uma empresa moderna baseada em IA. Clientes, empresas, cadeias de suprimento, governos e formadores de opinião participam todos dessa dança global; em algum momento a música vai mudar, e a dança também
Negócios e política são em grande parte movidos por isso, e a indústria de tecnologia também cai repetidamente em modas, exageros e erros que duram décadas e depois parecem óbvios