Apocalipse da IA: 80% dos projetos fracassam e bilhões de dólares são desperdiçados
(salesforcedevops.net)- Um novo relatório da RAND mostra que, apesar do hype em torno da IA, a maioria dos projetos fracassa
- RAND: um dos principais think tanks dos EUA. O nome significa R&D. Foi fundada pela Douglas Aircraft em 1948
- O relatório, baseado em entrevistas com 65 cientistas de dados e engenheiros experientes, revela as causas-raiz desses fracassos e apresenta um roteiro para o sucesso
Falha de liderança: cego guiando cego
- A maior causa do fracasso de projetos de IA não é a tecnologia, mas a alta gestão
- Executivos frequentemente entendem ou comunicam mal quais problemas a IA deve resolver
- A liderança tem expectativas exageradas sobre IA e subestima o tempo e os recursos necessários para uma implementação bem-sucedida
- Sem comunicação clara entre a gestão e a equipe técnica, e sem entendimento dos objetivos do projeto, iniciativas de IA ficam condenadas ao fracasso desde o início
- Muitas organizações não têm a paciência necessária para uma implementação bem-sucedida de IA. Projetos são abandonados no meio do caminho ou redirecionados para novas prioridades antes mesmo de terem a chance de provar valor real
Dilema dos dados: entra lixo, sai lixo
- A qualidade dos dados aparece como o segundo obstáculo mais importante: "80% da IA é o trabalho sujo da engenharia de dados"
- Muitas organizações não têm dados de alta qualidade em quantidade suficiente para treinar modelos de IA eficazes
- Conjuntos de dados legados podem não ser adequados para treinamento de IA
- A falta de engenheiros de dados leva à perda de conhecimento e ao aumento dos custos do projeto
- A falta de expertise de domínio dentro das equipes de IA pode levar à interpretação errada dos dados e a falhas no desenho dos modelos
Correndo atrás do objeto brilhante: quando engenheiros perdem o foco
- Os próprios engenheiros às vezes também contribuem para o fracasso dos projetos
- Muitos cientistas de dados e engenheiros se sentem atraídos a usar os avanços tecnológicos mais recentes, mesmo quando soluções mais simples seriam suficientes
- Essa tendência de perseguir o "objeto brilhante" pode levar a soluções desnecessariamente complexas, difíceis de manter e de explicar às partes interessadas
- As organizações precisam equilibrar inovação e pragmatismo. Acompanhar os avanços tecnológicos é importante, mas o foco deve estar em resolver problemas reais de negócio de forma eficaz
Infraestrutura: a base pouco glamourosa do sucesso
- A falta de investimento em infraestrutura aparece como outro fator importante no fracasso de projetos de IA
- Muitas empresas tentam iniciar projetos de IA sem antes estabelecer a base necessária
- As organizações precisam ter uma visão mais abrangente da implementação de IA. Isso significa investir em pipelines de dados robustos, sistemas automatizados de teste e deploy, e ferramentas para monitorar o desempenho dos modelos em produção
- Muitas organizações têm dificuldade em fazer a transição de um protótipo de IA bem-sucedido para um sistema pronto para produção. Esse problema da "última milha" frequentemente tira projetos promissores dos trilhos
Recomendações: um choque de realidade para as ambições em IA
- O relatório da RAND apresenta as seguintes recomendações para aumentar a taxa de sucesso de projetos de IA nas organizações:
- Garantir que a equipe técnica entenda o propósito do projeto e o contexto de negócio. O relatório aponta que "mal-entendidos e falhas de comunicação sobre a intenção e o objetivo do projeto são o motivo mais comum para o fracasso de projetos de IA". Para isso, é necessário diálogo contínuo entre equipes de negócio e de tecnologia, além de esforço para construir entendimento e terminologia compartilhados.
- Escolher problemas sustentáveis. "Antes de iniciar um projeto de IA, líderes devem garantir que cada equipe de produto esteja preparada para se dedicar à resolução de um problema específico por pelo menos um ano." Essa recomendação rebate a tendência de buscar ganhos rápidos ou de mudar prioridades o tempo todo. Ao focar em problemas de longo prazo e alto impacto, as organizações podem dar às iniciativas de IA o tempo e os recursos necessários para ter sucesso.
- Focar no problema, não na tecnologia. "Perseguir a tecnologia de IA mais recente por si só é um dos caminhos mais frequentes para o fracasso." O relatório enfatiza que é importante escolher a ferramenta adequada para a tarefa, mesmo que não seja a solução mais avançada. Isso pode exigir mudanças na forma como organizações avaliam e recompensam suas equipes técnicas.
- Investir em infraestrutura. "Investimentos prévios em infraestrutura para dar suporte à governança de dados e ao deploy de modelos podem reduzir significativamente o tempo necessário para concluir projetos de IA." Esses investimentos podem não ser tão chamativos quanto a pesquisa em IA, mas são essenciais para o sucesso de longo prazo. Isso inclui construir pipelines de dados robustos, implementar controle de versão para modelos e dados, e desenvolver sistemas para monitorar e manter soluções de IA implantadas.
- Entender as limitações da IA. "A IA não é uma varinha mágica capaz de resolver problemas difíceis. Em alguns casos, nem mesmo os modelos de IA mais avançados conseguem automatizar tarefas complexas." O relatório pede uma avaliação mais realista do que a IA pode e não pode fazer, e incentiva organizações a reduzir expectativas e focar em áreas nas quais a IA possa realmente gerar valor.
A perspectiva acadêmica: publicar ou desaparecer
- O estudo também investigou a pesquisa acadêmica em IA e constatou que a pressão por publicar artigos e a busca por prestígio frequentemente se sobrepõem às aplicações reais
- O relatório observa que "se um projeto de IA não levava à publicação de um artigo, ele não era percebido como um sucesso", destacando o desalinhamento entre incentivos acadêmicos e impacto no mundo real
- Essa abordagem centrada em publicação pode levar pesquisadores a priorizar métodos novos, porém pouco realistas, em vez de melhorias incrementais capazes de ter impacto substancial no mundo real
- O relatório sugere que instituições acadêmicas considerem ampliar os critérios de sucesso na pesquisa em IA, incluindo métricas relacionadas a aplicações práticas ou colaboração com a indústria
- O estudo também constatou que muitos pesquisadores acadêmicos têm dificuldade para acessar conjuntos de dados reais de alta qualidade. Isso pode ampliar a distância entre pesquisa acadêmica e aplicação prática
- O relatório recomenda promover maior colaboração entre academia, indústria e órgãos governamentais para oferecer aos pesquisadores acesso a dados mais relevantes, mantendo as medidas necessárias de privacidade e segurança
Um alerta para a indústria de IA
- Este relatório da RAND funciona como um necessário choque de realidade para a indústria de IA
- O potencial da IA continua enorme, mas o caminho para uma implementação bem-sucedida está repleto de desafios
- As organizações precisam reduzir a distância entre hype e realidade e se concentrar em fundamentos sólidos, como qualidade de dados, infraestrutura e comunicação clara entre equipes técnicas e de negócio
- Como um dos entrevistados observou com sabedoria: "As partes interessadas querem participar do processo. Elas não gostam quando você diz: 'Está demorando mais do que o esperado, então volto a falar com vocês em duas semanas'. Elas são curiosas." Isso reforça a necessidade de comunicação contínua e transparente ao longo de todo o projeto de IA, mantendo todas as partes interessadas informadas e engajadas
- O relatório também destaca a importância da paciência e da persistência no desenvolvimento de IA. Resultados rápidos são raros, e as organizações precisam estar preparadas para um esforço de longo prazo para obter benefícios substanciais de suas iniciativas de IA. Isso pode exigir uma mudança na cultura organizacional e nas expectativas, saindo de uma mentalidade de curto prazo para uma visão mais estratégica e duradoura da implementação de IA
- Ao absorver essas lições e adotar uma abordagem mais realista e paciente para o desenvolvimento de IA, as organizações podem aumentar suas chances de sucesso nesse campo transformador
"O futuro da IA é promissor, mas apenas para aqueles que conseguirem superar os desafios profundamente humanos que existem nesse caminho. À medida que o setor amadurece, quem equilibrar inovação e pragmatismo e combinar excelência técnica com visão de negócio estará em melhor posição para aproveitar o verdadeiro potencial da IA."
6 comentários
Se as empresas conseguirem suportar o fracasso...
No fim, vence quem consegue aguentar.
Post muito identificável mesmo ^^ Se eu fosse fazer uma pequena provocação, ou melhor, nem tão pequena assim... neste contexto, "Publish" soa mais natural como "publicação de artigo" do que como "publicação" no sentido de editar um livro.
Uma pessoa inteligente deixou há muito tempo a pergunta essencial... Vale a pena financeiramente?
As empresas estão tentando lucrar rápido, vendendo qualquer coisa com rótulo de IA, e o nível de expectativa dos usuários provavelmente é de resultados que levaram pelo menos mais de 10 anos de investimento para serem alcançados... é difícil mesmo..
Se você imaginar números falsos em demonstrativos financeiros gerados por um LLM sendo repassados incorretamente a investidores, um gestor racional não ficaria tão entusiasmado assim com LLMs. Por mais que se explique, acho que para algumas pessoas teimosas uma experiência constrangedora vai acabar servindo de remédio.
Comentários no Hacker News
Relatório da RAND: afirma que “as partes interessadas da indústria entendem mal ou comunicam mal os problemas que a IA deve resolver”
Problema do fracasso de investimento: o problema não é os 80% de fracasso; entre os 20% restantes, alguns cisnes negros podem tornar lucrativo o conjunto inteiro de investimentos
Link do relatório da Rand: Rand Report
Problema do uso indevido de IA: muitas empresas dão a ordem de “enfiar IA em tudo”
Taxa de sucesso de startups: a regra 80/20 é melhor do que o fato de 90% das startups falharem em até 3 anos
A história se repete: houve o caso do DART, introduzido em 1991, que até 1995 compensou todo o financiamento de pesquisa em IA da DARPA
Problema das funcionalidades de IA: funcionalidades de IA continuam sendo mantidas porque a liderança executiva está obcecada demais com IA
Taxa de sucesso em P&D: em tecnologia de ponta, 20% de projetos darem certo pode ser um resultado bastante bom
Substituição da programação por IA: há ceticismo em relação à alegação de que a IA vai substituir a programação
Site fora do ar: o site em Wordpress caiu por não conseguir lidar com o tráfego do HN