COO da Uber diz que está cada vez mais difícil justificar o dinheiro gasto com tokenmaxxing
(businessinsider.com)- O COO da Uber acredita que está cada vez mais difícil justificar se os gastos com IA estão gerando resultados proporcionais ao custo investido
- A discussão interna cresceu depois que o CTO da Uber revelou que o orçamento de Claude Code para 2026 já havia sido totalmente consumido
- Ainda não foi confirmada a ligação de que um maior uso de tokens leve proporcionalmente a um aumento de recursos úteis para o consumidor
- O CEO da Uber afirmou que a empresa está desacelerando as contratações para compensar os investimentos em IA
- Ao contrário da tendência de tokenmaxxing nas Big Techs, o Duolingo voltou atrás na decisão de incluir o uso de IA na avaliação de desempenho após a reação dos funcionários
O problema de justificar internamente os custos de IA na Uber
- O diretor de operações da Uber, Andrew Macdonald, acredita que está cada vez mais difícil justificar os custos de IA dentro da empresa
- Em uma entrevista ao Rapid Response divulgada no sábado, ele afirmou que a IA não está entregando efeitos equivalentes ao dinheiro que a empresa está gastando
- A discussão interna ganhou força depois que o CTO da Uber, Praveen Neppalli Naga, disse em abril, em entrevista ao The Information, que a Uber já havia esgotado o orçamento de Claude Code para 2026
- A fala levou ao que Macdonald descreveu como um “momento de explodir a cabeça”, desencadeando discussões dentro da empresa sobre o trade-off entre o consumo de tokens de IA e o tamanho da equipe
Falta de conexão entre uso de tokens e desempenho do produto
- Após conversar com líderes seniores de engenharia da Uber, Macdonald concluiu que um maior uso de tokens não está levando a um aumento proporcional de recursos úteis para o consumidor
- Ao dizer que “essa ligação ainda não existe”, ele avalia que pode até haver mais recursos sendo lançados, mas é difícil conectar diretamente métricas específicas à conclusão de que “agora estamos realmente criando 25% mais recursos úteis para o consumidor”
- Quanto mais difícil for ligar diretamente os gastos com IA aos resultados, mais difícil se torna justificar o custo de oportunidade envolvido
- O CEO Dara Khosrowshahi afirmou no início deste mês, em divulgação de resultados, que a Uber está desacelerando as contratações para compensar os investimentos em IA
Para o usuário parece grátis, mas a empresa paga a conta
- Macdonald acredita que a IA pode parecer gratuita se a pessoa estiver na posição de imaginar “casos de uso interessantes” sem ter de pagar por isso
- Mas, no fim das contas, é a empresa que arca com o custo
- A expansão do uso de IA não está sendo tratada apenas como um experimento de produtividade, mas como uma estrutura de custos que afeta orçamento e gestão de pessoal
Um movimento diferente do tokenmaxxing das Big Techs
- As Big Techs estão avançando fortemente no tokenmaxxing, usando IA o máximo possível, e algumas empresas refletem o volume de uso de IA na avaliação dos funcionários
- Meta, Google e JPMorgan são citadas como empresas que ligam o uso de IA a avaliação de desempenho, metas, aumentos salariais e promoções
- Em contrapartida, algumas empresas estão começando a recuar de abordagens que empurram o uso de IA por si só
- O Duolingo voltou atrás na decisão de incluir o uso de IA na avaliação de desempenho depois que funcionários perguntaram: “temos que usar IA apenas para usar IA?”
- Em entrevista a um podcast em abril, o CEO do Duolingo, Luis von Ahn, disse que, em vez de cobrar responsabilidade por resultados reais, em alguns casos parecia que estavam forçando algo que simplesmente não se encaixava
1 comentários
Opiniões do Hacker News
Em 2007~2009, quando o Google expandia fortemente seus datacenters, havia muita capacidade ociosa, especialmente fora do horário de trabalho
Qualquer engenheiro podia rodar o quanto quisesse como prioridade 0, e esses jobs eram os primeiros a morrer quando algo mais importante precisava de recursos
Muita gente fazia experimentos de MapReduce durante a noite e, por um tempo, alguns serviços internos rodavam em prioridade 0, operando na prática como se fossem “gratuitos”
Conforme o uso aumentou, esses serviços foram ficando cada vez mais instáveis e, no fim, foi preciso justificar o uso dos recursos ou reduzir a escala, mas isso acabou sendo algo positivo
O uso de tokens de IA talvez funcionasse bem com um modelo parecido. Grandes empresas de tecnologia poderiam ter datacenters próprios para LLMs, atender à demanda interna e depois abrir a capacidade ociosa fora do expediente para experimentos dos funcionários
No trabalho do dia a dia, o ideal seria incentivar não a quantidade de tokens em si, mas a eficiência de tokens. Gastar muitos tokens em uma automação que economiza várias horas de trabalho humano toda semana é um bom uso; gastar muitos tokens depurando um bug simples de frontend que poderia ser corrigido manualmente e ainda levar 4 horas é desperdício
https://developers.openai.com/api/docs/guides/batch
Em abordagens como desenvolvimento guiado por especificação, em que a pessoa não fica dentro do loop o tempo todo, mas apenas supervisiona de fora, essa abordagem parece muito mais natural; mas, pelo menos na experiência com frontends do Google, ainda não vi isso ser bem suportado
O que está acontecendo agora era muito óbvio para muita gente. Parece dizer a um novo viciado, criado deliberadamente para se tornar dependente, para “consumir com um pouco mais de cuidado”, então há uma boa chance de isso não funcionar
Não gosto de usar IA e nem sinto que ela ajude muito
Mas a empresa obriga o uso e acompanha as métricas, então todo dia jogo nela tarefas inúteis só para parecer que usei
Mesmo que isso crie mais problemas do que resolva, na métrica continuo sendo alguém que usa IA
Se qualquer empresa anunciar que usa consumo de tokens como sinal de desempenho dos funcionários, isso para mim é quase um alerta vermelho de lugar a evitar
Uma empresa com boa liderança de engenharia não deveria tratar isso como uma ideia aceitável
Mas a empresa vive ironizando que, se você gastar 500 dólares em tokens de IA de forma improdutiva, é reconhecido como um adotante de IA de elite
Em algumas empresas, chegam a dizer aos desenvolvedores que “de preferência vocês não escrevam mais nenhuma linha de código por conta própria”
Do ponto de vista dos executivos, a lógica provavelmente é esta: se os 20% melhores funcionários produzem 80% do código com LLM e a empresa continua funcionando, então dá para cortar os 80% inferiores de desenvolvedores e economizar custos
Usar volume de tokens na avaliação de desempenho dos funcionários é apenas um desses casos
Não há tanta coisa realmente nova sob o grande reator de fusão no céu
Li em “The Information”, de James Gleick, sobre algo parecido com tokenmaxxing na indústria do telégrafo
Como o telégrafo cobrava por caractere, havia um grande mercado de livros de códigos para reduzir o número de caracteres transmitidos. Compressão era dinheiro, e as empresas telegráficas odiavam isso, mas não tinham escolha a não ser aceitar
A indústria de códigos telegráficos começou logo no início da comercialização do telégrafo e continuou até a década de 1920
Mas isso também tinha um custo. Os códigos reduziam muito a redundância, e erros minúsculos levavam a grandes mal-entendidos
Como explica Gleick, isso era o oposto exato da forma como os tocadores de tambores africanos adicionavam redundância para reforçar a relação entre o ritmo e a língua imitada pelo tambor
Ou seja, venceria quem queimasse mais tokens ou mais custo, e não o programador que entregou funcionalidades
O que você descreveu está mais para minimização de tokens do que maximização de tokens
Eu sempre tive curiosidade sobre a stack de software, desde antes dos LLMs, e agora isso parece ainda mais relevante
Quando uma empresa como a Uber fica “pronta”? Eles constroem software há 16 anos
É uma empresa que conecta motoristas e passageiros, e fazer mais software não aumenta tanto assim a chance de eu escolher Uber em vez de ônibus ou trem
Daqui a 20 anos o software acaba? Ou em 80?
Sem falar no ambiente regulatório que muda e nos novos produtos. Basta ver quando surgiu o Uber Eats
Nesses 16 anos, tivemos a Covid-19, direção autônoma prática e parceria com a Waymo
Um app de massa conectado em rede nunca pode estar “pronto” sem presciência perfeita
A stack técnica interna é como um organismo vivo, e manter um serviço que por fora parece não mudar já dá um trabalhão. Escalar também é um grande desafio, e escala e manutenção continuam ampliando uma à outra
Cada país tem suas próprias leis sobre o que a Uber pode e não pode fazer, e isso precisa ser formalizado em código
Por exemplo, em alguns lugares, pelo app da Uber você na prática chama um táxi, e a tarifa pode ser calculada por milha em vez de um valor fechado antecipadamente
A isso ainda se somam as leis de cada cidade. Se você pega um Uber da cidade A para a cidade B, onde as leis são diferentes, como isso deve funcionar? O jurídico talvez saiba a resposta, mas o app tem que obedecer
Além disso, as leis mudam o tempo todo
A otimização também não acaba nunca. Sempre há o que melhorar em velocidade, custo, rotas etc.
Como consumidor, o que você vê é só uma fração minúscula da complexidade que esses serviços precisam construir e operar
Quase sempre também há bugs para corrigir. Bugs pra caramba
Isso também é um problema de empresas que receberam investimentos gigantescos. O valor da Uber se baseia menos no que ela faz hoje e mais na expectativa de tornar ultrapassadas ideias como ter carro próprio ou usar transporte público
É um exagero, mas ainda assim menos exagerado do que parece
Tokenmaxxing não faz sentido. É parecido com escrever jobs ineficientes de SQL/Spark para usar o máximo possível de computação, memória e I/O
É como encher de propósito com produto cartesiano e datasets extremamente enviesados
Sempre acontece esse tipo de coisa quando a métrica vira objetivo. A empresa deveria cultivar um ambiente que use IA da forma mais eficiente possível e primeiro perguntar: “essa tarefa realmente precisa de um agente?”
Se precisar, então deve decidir que tipo de agente, qual modelo e qual nível de inferência são necessários
Também deveria incentivar economia de tokens, aumento de cache hit rate e estruturar a informação para permitir uso com menos contexto. Grafos de conhecimento são bem bons para isso
É como incendiar o posto de gasolina para ganhar a corrida
É só uma forma de incentivar ou forçar todo mundo a experimentar a nova tecnologia
Quando acharem que todos já estão usando IA, algo como tokenmaxxing naturalmente acaba
Eu também vi muitos casos de uso cujo valor era duvidoso, mas vi equipes resolverem problemas antigos com fluxos de trabalho do tipo agente que seriam difíceis de justificar diante de um comitê de revisão de custos
Pelo que entendo, trabalho de economia de tokens, aumento de cache hit rate e estruturação de informação para usar menos contexto costuma ser feito em paralelo por equipes separadas na maioria das grandes empresas de tokenmaxxing
Eu entendo empresas torrando dinheiro em desenvolvimento assistido por IA. Mas e o retorno sobre investimento total? Valeu tanto quanto os ganhos de eficiência alegados?
Esse é o único ponto realmente interessante da febre de IA, e não sei por que ninguém fala disso
Dá para usar Claude e fazer 5 funcionalidades inúteis ou ruins em um dia, ou 1 funcionalidade útil em dois dias. Qual das duas tem impacto melhor no retorno sobre investimento?
Pelo exemplo parece uma resposta fácil, mas na realidade é bem mais sutil e muito mais difícil de medir
Então parece que muitas empresas desistem de medir e escolhem o caminho simples de seguir o hype
Quando usado de forma correta, incluindo code review, estou convencido de que o ganho máximo sustentável com IA para uso de um engenheiro sênior com habilidade adequada é de cerca de 20%
O orçamento de tokens de qualquer engenheiro não deveria passar muito disso
Eu não acredito que engenheiros praticando tokenmaxxing sejam realmente produtivos, e nunca vi evidência nenhuma disso. Se bobear, é até o contrário
Com o fluxo certo e conhecimento da codebase, eu mesmo senti que esse nível é possível com um esforço sustentável
Parece que IA para produtividade em engenharia é amplamente mal interpretada como um botão mágico que entrega o mesmo resultado de forma mais rápida e barata
Por essa lógica, é natural querer forçar os funcionários a fazer tokenmaxxing. Se dá para obter mais resultado mais rápido e mais barato, por que não?
Numa visão mais sutil, é o seguinte: IA ajuda a cumprir o roadmap um pouco mais rápido, mas cria dívida técnica semelhante à de contratar devs temporários para construir funcionalidades
Não é garantido que surja dentro do time alguém que realmente entenda o novo código
Do mesmo modo, também acontece menos evolução de habilidade dos membros juniores da equipe. Fica mais difícil capturar como antes a arbitragem entre habilidade e salário
O produto também pode ficar mais complexo. Se uma funcionalidade é P2, há um motivo para isso, mas a IA pode levar a incluir funcionalidades de baixo ganho marginal e deixar o produto mais complexo
É chocante que alguém tenha achado que tokenmaxxing era uma boa ideia
Os maximalistas de IA costumam comparar essa tecnologia à eletricidade. Imagine se, no começo da eletrificação, um CEO recompensasse os funcionários por aumentar o consumo de eletricidade em vez de encontrar formas de usar eletricidade para gerar resultado no negócio
Naquela época era comum internar pessoas em instituições ao menor sinal de transtorno mental, então provavelmente teria terminado assim