1 pontos por GN⁺ 2024-10-21 | 1 comentários | Compartilhar no WhatsApp
  • A demanda por IA está impulsionando os investimentos em infraestrutura de computadores, data centers e energia nos EUA, e o fato de a Microsoft assumir o custo de reativação da unidade 1 da usina nuclear de Three Mile Island mostra como a escassez de energia para data centers está se expandindo para investimentos em infraestrutura física
  • Os gastos com construção de data centers nos EUA atingiram um recorde histórico, com taxa anual de US$ 28,6 bilhões, alta de 57% em relação ao ano anterior e de 114% frente a dois anos atrás, chegando a um volume semelhante à soma dos gastos com construção de restaurantes, bares e lojas de varejo
  • Os gastos de construção não incluem racks de servidores e componentes, e as importações líquidas de grandes computadores e de peças/acessórios de computador ultrapassaram US$ 65 bilhões no último ano, enquanto as importações de chips, computadores e componentes relacionados de Taiwan também dispararam para mais de US$ 38 bilhões
  • Os efeitos do atual boom de IA aparecem mais em hardware, manufatura, construção e infraestrutura elétrica do que no emprego tradicional de software, e o aumento de vagas em tecnologia nos EUA no último ano ficou em apenas 32 mil
  • Com a competição por investimentos seguindo adiante com base em modelos maiores e na disseminação de aplicações reais, a demanda por semicondutores avançados, a dependência de Taiwan e as restrições de acesso da China ganham ainda mais destaque como temas centrais da Chip War

A demanda por IA leva a investimentos em infraestrutura física

  • A Microsoft decidiu assumir o custo de reativação da unidade 1 da usina nuclear de Three Mile Island para atender à crescente demanda de energia dos data centers, tornando-se a segunda grande empresa de tecnologia dos EUA, depois da Amazon, a usar instalações nucleares existentes para responder à demanda energética
  • A Microsoft é uma das principais investidoras da OpenAI e sua provedora de computação, e menos de dois anos após o lançamento do ChatGPT o desenvolvimento e o uso de IA se espalharam rapidamente
  • Produtos de IA são usados para gerar código, texto e imagens, analisar dados, automatizar tarefas e fortalecer plataformas online, e espera-se que o uso continue crescendo
  • Os modelos de IA mais recentes exigem recursos de computação em larga escala para treinamento e inferência, e operá-los requer hardware de alto desempenho, instalações em escala industrial e infraestrutura de energia, água e banda larga

Investimentos em data centers e computadores disparam

  • A construção de data centers nos EUA atingiu o recorde histórico de US$ 28,6 bilhões em taxa anual
    • alta de 57% em relação ao ano anterior
    • alta de 114% em relação a dois anos antes
    • volume semelhante à soma dos gastos com construção de restaurantes, bares e lojas de varejo nos EUA
  • Esse número inclui apenas os edifícios em si e exclui racks de computadores de alto desempenho, cabos, ventiladores e outros componentes que funcionam como o cérebro dos data centers
  • Em agosto, as importações líquidas de grandes computadores pelos EUA bateram recorde histórico, e as importações líquidas de peças, acessórios e outros componentes de computador haviam atingido recorde no mês anterior
  • No último ano, os EUA importaram mais de US$ 65 bilhões nessas duas categorias, enquanto a produção doméstica também aumentou

A estrutura de investimento das empresas de tecnologia está mudando

  • A maior parte dos novos data centers, computadores e equipamentos é comprada por empresas do setor de tecnologia da informação
    • provedores de infraestrutura de computação como a Amazon
    • empresas de busca na web como o Google
    • publicadoras de software como a Microsoft
  • Essas empresas aumentaram seus ativos líquidos em imóveis, fábricas e equipamentos em mais de US$ 95 bilhões no último ano, o maior nível já registrado
  • Há pouco mais de 10 anos, o Facebook comprou o Instagram por US$ 1,2 bilhão e, dois anos depois, o WhatsApp por US$ 15 bilhões
    • na época, o Instagram tinha 13 funcionários, o WhatsApp tinha 55, e sua base física se resumia basicamente a escritórios e estações de trabalho de desenvolvedores
  • Só no primeiro semestre de 2024, a Meta executou US$ 15,2 bilhões em gastos de capital, grande parte destinada a infraestrutura massiva de computação para sustentar o modelo de IA Llama
  • O boom atual de IA é muito mais intensivo em hardware do que os booms anteriores de tecnologia e está elevando rapidamente a construção e o investimento dentro dos EUA

Computadores de alto desempenho e importações de Taiwan viram eixo central

  • Os investimentos de empresas dos EUA em computadores e equipamentos relacionados cresceram 16,6% no último ano em termos reais, ajustados pela inflação, atingindo recorde histórico em meio ao boom de IA
  • Nos anos 2010, os investimentos em computadores ficaram relativamente estagnados por quase uma década, até que a demanda por trabalho remoto durante a pandemia quebrou essa tendência
  • Em 2022, com a estabilização do trabalho em casa e do uso da internet, os investimentos em computadores caíram, mas voltaram a disparar a partir do fim de 2023 com o boom de IA
  • O ritmo de crescimento dos sistemas computacionais avançados é ainda mais rápido que o do investimento total em computadores
    • a TSMC é a fabricante líder mundial de semicondutores avançados
    • as importações dos EUA de chips, computadores e componentes relacionados vindos de Taiwan superaram US$ 38 bilhões no último ano, com alta de mais de 140% em relação ao ano anterior
    • as importações diretas dos EUA de chips lógicos subiram de um nível baixo para cerca de US$ 5 bilhões em taxa anual
    • peças e componentes de computador continuam sendo o maior item de importação

Até empresas de software entram na disputa por hardware

  • Pelos dados detalhados de investimento por setor até 2023, empresas de processamento de dados e busca na web como Amazon e Google continuam com os maiores volumes de investimento no setor de tecnologia
  • O crescimento mais rápido do investimento apareceu nas empresas de desenvolvimento de software
    • o investimento real em propriedade intelectual de publicadoras de software aumentou 40% desde 2021
    • essa categoria inclui os próprios modelos de IA e a pesquisa e desenvolvimento relacionados
    • o investimento real em equipamentos como computadores cresceu 96%
  • A era em que desenvolvedoras líderes de software operavam com uma estrutura leve de hardware está dando lugar a uma corrida para construir rapidamente capacidade de hardware

A localização dos data centers varia muito por região

  • Os data centers precisam ser distribuídos até certo ponto por causa das necessidades de rede e para evitar restrições de infraestrutura, mas a concentração em grandes clusters aumenta a eficiência e reduz custo e latência
  • Na IA, esse efeito de concentração é especialmente importante, e as empresas estão forçando os limites do tamanho dos data centers e das redes para colocar o máximo possível de capacidade computacional no desenvolvimento de modelos
  • As estatísticas oficiais de construção dividem os gastos com data centers apenas no nível regional, então não há dados detalhados de construção
  • A expansão de data centers nos EUA continua mais forte no Sul, onde já existem clusters históricos
  • O ritmo de crescimento foi mais rápido nos mercados do Centro-Oeste e da Costa Oeste, enquanto o Nordeste praticamente não foi afetado

Demanda de energia e impacto sobre as redes elétricas regionais

  • A Energy Information Administration revisou várias vezes para cima suas projeções de aumento de carga elétrica para refletir a demanda dos data centers
  • A projeção atual indica que o consumo de eletricidade do setor comercial vai crescer 3% neste ano e 1% no próximo
  • Mesmo nessa projeção, os usuários comerciais ainda representam um fator menor de aumento do consumo de energia do que a eletrificação residencial e o reshoring industrial, mas para o setor comercial esse é o crescimento de demanda mais rápido em anos
    • de 2007 a 2023, o consumo comercial de eletricidade aumentou apenas 5% no total
    • antes do boom de IA, estimativas oficiais apontavam que computadores e equipamentos de escritório respondiam por 11,4% do consumo elétrico comercial
  • Em algumas regiões, o consumo de energia dos data centers se tornou o principal fator de crescimento da carga elétrica
    • a Dakota do Norte registrou aumento de mais de 45% no consumo comercial de eletricidade desde a abertura de um grande data center em 2022
    • como os mercados de energia e computação da Dakota do Norte são pequenos, o aumento bruto da demanda de energia é maior em grandes clusters de data centers como Virginia e Texas

Demanda de energia de data centers na Virginia e no Texas

  • O byteway nos subúrbios do norte da Virginia, na região de Washington DC, é o maior cluster de poder computacional do mundo
  • Com esse cluster, o consumo comercial de energia da Virginia aumentou 30% desde 2019, o maior aumento bruto da demanda elétrica comercial nos EUA
  • O Texas vem atraindo data centers e mineradores de criptomoedas como parte de programas de gestão de carga energética
  • O consumo comercial de eletricidade do Texas subiu 10% desde 2019, e é esperada uma expansão ainda maior no futuro
  • O aumento da carga dos data centers contribuiu para o desempenho acima do esperado dos investimentos em energia renovável no Texas
    • ERCOT e PJM devem liderar os EUA em crescimento de energia renovável neste ano e em 2025
    • por causa das vantagens de concentração dos data centers, empresas de IA mostram tendência crescente de se concentrar perto de grandes recursos de energia
    • esse é um pano de fundo para o aumento do interesse em energia nuclear e da disposição das empresas de tecnologia de investir diretamente em infraestrutura de geração

A receita se recuperou, mas o emprego em tecnologia segue fraco

  • Em meio ao boom de IA, a receita do setor de tecnologia da informação se recuperou da desaceleração de 2022–2023
  • Publicadoras de software, portais de busca na web e provedores de infraestrutura de computação registraram aumento de receita de 12% a 15% no último ano
  • Isso ainda fica abaixo do nível de 2021, mas representa um crescimento forte em comparação com o período pré-Covid
  • Apesar do forte aumento do investimento físico e da recuperação da receita, o crescimento do emprego no setor de tecnologia é muito fraco
    • os EUA adicionaram 32 mil empregos de tecnologia no último ano
    • esse número é menor do que em qualquer momento de 2021, 2022 ou dos nove anos anteriores à pandemia
    • mesmo as publicadoras de software e a indústria de infraestrutura de computação, no centro do boom de IA, praticamente não tiveram aumento líquido de emprego no último ano
  • O mercado de trabalho em tecnologia que tem afligido recém-formados em ciência da computação não melhorou muito

Os efeitos no mercado de trabalho são mais claros fora dos cargos tradicionais de tecnologia

  • O boom de investimento em IA não significa ausência de impacto no mercado de trabalho, mas esse impacto está mais concentrado fora do setor tradicional de tecnologia da informação
  • A remuneração total na manufatura de semicondutores cresceu 25% do 1º trimestre de 2023 ao 1º trimestre de 2024
    • funcionários de empresas como a NVIDIA também foram beneficiados pelo aumento de valor de stock options
  • No último ano, os empregos na construção comercial cresceram em 30 mil vagas, parte disso como efeito indireto da demanda por data centers
  • Também está em curso um boom de emprego em construção industrial ligado a fabs de chips e outros segmentos de manufatura, além do aumento de vagas relacionadas à expansão de energia e de infraestrutura mais ampla
  • A dinâmica de emprego do boom de IA é muito diferente da do mercado de trabalho tecnológico da última década e está mais focada em investimento em hardware, empresas de manufatura/projeto e construtoras de infraestrutura do que em programadores tradicionais

Corrida de investimentos e expansão para a Chip War

  • As desenvolvedoras de IA competem ferozmente acreditando que a melhoria dos produtos e a ampliação da comercialização vão justificar a escala histórica de investimentos atual
  • No curto prazo, espera-se que os investimentos aumentem ainda mais com o desenvolvimento de modelos mais avançados e a disseminação de aplicações reais, como carros autônomos
  • Formuladores de políticas veem a IA como um setor central do futuro da economia dos EUA
    • graças ao domínio do Vale do Silício e das grandes big techs americanas, os EUA construíram vantagem considerável em desenvolvimento de IA e capacidade de data centers
    • avalia-se que o boom de IA beneficiou os investimentos nos EUA mais do que em qualquer outro país
  • A competição geopolítica em torno da capacidade de hardware tende a se intensificar ainda mais
    • o CHIPS Act foi criado antes do ChatGPT, e alguns líderes da indústria reclamam que ele já parece desatualizado em prioridades e escala
    • o aumento da demanda por semicondutores avançados amplia a dependência dos EUA das importações de Taiwan, algo que o CHIPS Act pretendia aliviar
    • os EUA ainda dependem da China em vários componentes necessários para atender ao fornecimento em escala de data centers
  • Os EUA provavelmente continuarão restringindo o acesso da China aos chips mais avançados para desacelerar o desenvolvimento chinês de IA, enquanto a China segue ampliando sua capacidade de fabricação de chips para reduzir a dependência de importações
  • À medida que o boom de investimento em IA avança, ele se move cada vez mais para o centro da já existente Chip War

1 comentários

 
GN⁺ 2024-10-21
Opiniões no Hacker News
  • Depois de ler este texto, fico inclinado a apostar que este boom de investimentos intensivos em capital vai seguir um caminho parecido com os grandes booms de investimento da história dos EUA
    Como a construção de ferrovias no século XIX, a proliferação de montadoras no início do século XX e o boom de fibra óptica das telecomunicações no fim dos anos 1990, houve colapsos após a construção excessiva de infraestrutura em larga escala, com a maior parte do setor indo à falência, mas depois essa infraestrutura foi absorvida e trouxe grandes benefícios para a economia e a sociedade
    Vem à mente o caso da fibra apagada instalada após os investimentos e falências das telecomunicações do fim dos anos 90 e início dos anos 2000, que acabou sendo acesa e permitiu o crescimento de multimídia de alta qualidade, como a Netflix
    Aqui também, o investidor médio vai financiar chips avançados, data centers e fornecimento de energia e se decepcionar bastante, mas acho que, no longo prazo, isso renderá grandes dividendos
    Especialmente só pelos investimentos em energia, mesmo que a IA seja retratada como um enorme monstro devorador de energia que aquece o clima, acredito que, agora que as renováveis se tornaram a eletricidade mais barata, essa enorme demanda por capital vai acelerar a transição para longe dos combustíveis fósseis

    • Parece correto, e em algum momento a bolha vai estourar
      A questão é quando. Se agora corresponder a 1995 do boom das pontocom, e não a 1999, ainda restam mais 4 anos de forte crescimento, e mesmo após o colapso o mercado de 2029 pode ser muito maior que o de 2024. A Cisco em 2001 ainda era 4 vezes maior do que em 1995
      Uma diferença em relação a bolhas anteriores é que, quanto maior o volume de computação, mais inteligente e capaz a IA se torna
      Como critério para avaliar se ainda estamos no começo do boom, observo se o Slack já vende um chatbot de LLM que dê respostas confiáveis sobre decisões de trabalho e técnicas tomadas em chats nos últimos 2 anos. Ainda não existe um produto assim, provavelmente porque o custo de rodar tanta inferência com uma janela de contexto grande ainda é alto demais
      Por isso, acho que estamos mais perto do começo da bolha do que do fim
      Outra coisa a observar é se as leis de escala dos LLMs começam a ruir rapidamente, de modo que mais computação deixe de gerar inteligência maior de forma economicamente viável. Se isso acontecer, a bolha deve estourar, e todos estão observando se modelos no nível do GPT-5 vão mostrar esse sinal
    • Fico em dúvida sobre por que ver dessa forma. Redes ferroviárias, rodoviárias e de fibra óptica puderam ser usadas por décadas mesmo depois que os investidores originais quebraram
      Mas o problema é que os atuais data centers para computação de IA praticamente não servem para outros usos se as empresas de IA falirem
      O problema do investimento em infraestrutura de computação é que é preciso ter um plano para usar tudo nos próximos 5 anos. Depois disso, talvez ninguém aceite nem de graça
    • As renováveis já são tão baratas que acho que teriam sido construídas no mesmo ritmo de qualquer forma
      Por outro lado, a cara geração nuclear não teria sido construída sem essa bolha, mas, curiosamente, parece que o dinheiro também está fluindo para o setor nuclear
    • Na bolha das telecomunicações, o único ativo que continuou valendo depois foi a fibra óptica enterrada. Os equipamentos de terminação ficaram obsoletos em poucos anos e precisaram ser substituídos; a fibra era o ativo central porque podia ser reutilizada e era cara de instalar
      Na bolha de IA, qual ativo ainda terá valor daqui a 5 anos? Provavelmente não será um galpão cheio de GPUs de 5 anos de idade. Talvez sejam usinas nucleares
    • Ferrovias e redes de computadores criam efeitos de rede, mas não está claro se o mesmo vale para data centers cheios de hardware que fica obsoleto muito rapidamente
  • Há quem diga que é parecido com ferrovias, mas, além do fato de custar muito dinheiro, é totalmente diferente de ferrovias
    Ferrovias duraram décadas e continuarão fazendo sentido por muitas décadas. Desgastam-se lentamente e são a forma mais eficiente de transporte terrestre
    Já esses investimentos em hardware serão totalmente depreciados em 6 anos e provavelmente serão descartados porque deixarão de valer a pena operar, considerando a produção em relação ao custo de energia
    Também há o risco adicional de sistemas de IA futuros, por algum motivo, não rodarem com eficiência no hardware da geração atual

    • Pode ser, ou pode não ser. A GPU Nvidia P40 foi lançada há 8 anos e esquenta bastante, mas seu preço dobrou no último ano
      Nada será totalmente depreciado em 6 anos. As pessoas provavelmente ainda estarão usando A100 daqui a 15 anos. Placas de GPU V100 32GB, com 7 anos de idade, ainda são negociadas no eBay por 1.500 dólares
      Parece mais provável que inventem arquiteturas de software mais eficientes do que um novo tipo de hardware melhor que substitua todo o hardware existente
    • Nessa analogia, o bem público não é o hardware de IA, mas os modelos de IA
    • Alguns ativos, como prédios e fornecimento de energia, provavelmente continuarão úteis. Ainda assim, os chips provavelmente serão trocados por novos em breve
    • A infraestrutura de TI tem vida útil muito mais curta que a indústria ferroviária, mas as margens também são surpreendentemente altas
      Investimentos em ferrovias normalmente levam décadas para se pagar, enquanto no setor de TI geralmente se pagam em poucos anos
  • Sinto que há uma grande lacuna nesta discussão. Quase tudo está focado em GPUs e investimentos em hardware, e isso de fato impulsiona bastante o boom atual de IA, mas o lado de software está faltando
    Também é preciso tratar do investimento de venture capital significativo em plataformas, ferramentas e aplicações baseadas em IA. Como este texto pende demais para hardware, talvez fosse mais preciso chamá-lo de “boom de investimentos em GPU”
    O investimento em software também deveria receber atenção no mesmo peso

    • Vejo GPUs e data centers desempenhando na IA um papel parecido com o da fibra óptica no boom das pontocom
      A razão pela qual muitos softwares baseados em LLM não têm viabilidade econômica é que ainda não há computação e eletricidade suficientes para sustentar o que eles querem fazer
    • Será que existe algum material que estime bem essa proporção? Olhando para startups de IA que conheço em algum grau, tenho a impressão de que, mesmo quando não são startups de hardware, a maior parte do venture capital levantado volta direta ou indiretamente para custos de hardware
      Mas não tenho números concretos
    • Olhando hoje para o YC e o Product Hunt, quase todo software promovido de forma exagerada agora é algum tipo de “AI Powered alguma coisa”
      Para cada empresa em que a IA realmente faz algo útil, há umas dez que enfiam IA à força em algum ponto de um app existente e embalam isso como “AI Powered”, o que é bem irritante
      Recentemente minha empresa avaliou o Zenhub, e a equipe de vendas enfatizou muito que o app usava IA. Quando fomos ver, era só a integração de IA mais básica, que gerava descrições de stories a partir de prompts
      IA é muito útil, mas não precisa ser colocada em tudo
    • Fala-se muito de data centers e computação em nuvem, mas não se menciona chips para inferência no dispositivo
      Considerando a posição do mobile na camada de interface, se eu fosse investidor de venture capital, apostaria em inferência on-device
  • Não sei por que todas as matérias exageradas começam com frases como “produtos de IA já são amplamente usados em muito mais áreas, como geração de código, texto e imagens, análise de dados, automação de tarefas e melhoria de plataformas online, e a tendência é que o uso aumente”
    Pessoalmente, meu uso do Copilot para programar diminuiu. Tentei insistir, mas ele se perdia rápido e cuspia bugs sutis, então eu acabava gastando mais tempo depurando do que se tivesse escrito eu mesmo
    Como talvez eu não tenha conseguido revisar o código o suficiente, sempre fica aquela sensação de “isso pode explodir em produção de algum jeito desconhecido”. Colegas e amigos disseram sentir algo parecido
    Também testei os novos modelos de “cadeia de pensamento”, mas, estranhamente, pareceram piores

    • Ao ver este comentário, lembrei que eu tinha uma assinatura do Copilot
      Fazia meses que ele não dava sugestões de código úteis, a ponto de eu ter esquecido. Acabei de entrar e cancelar
      Agora preciso verificar se também dá para cancelar outras assinaturas ou reduzir para planos mais baratos
    • Minha experiência é parecida. Usei Claude recentemente em tarefas de programação, e ele me levou sem parar por tocas de coelho, cada vez parecendo pior do que antes
      Mesmo assim, ele não conseguia parar e dizer “desculpe, mas na verdade não sei como ajudar”
    • Sinto que a IA atual está mais para professora do que para implementadora. Ela ajuda muito quando estou aprendendo algo novo ou buscando ideias de direção
      Mas o código de verdade ainda parece ter que ser escrito, em grande parte, por pessoas
      IA é uma ótima ferramenta e aumenta bastante a velocidade, mas não corresponde à ideia mágica de que basta darmos ideias e a IA faz todo o trabalho braçal
      Em geral, é sempre melhor formar um modelo mental com base em evidências reais, não em fantasia, e agora há muita fantasia misturada. Isso não significa que devamos ser pessimistas quanto ao potencial de evolução futura, mas é muito difícil prever que forma essa melhoria terá
    • Pela minha experiência, está melhorando com o tempo, e vejo bastante espaço para melhorias relativamente fáceis, especialmente na integração de LLMs com o Language Server Protocol e outras ferramentas
      Ainda assim, no momento, eles não são suficientes para trabalhar de forma independente, então é melhor usá-los como em uma programação em par com um desenvolvedor humano intermediário, com pouco contexto do projeto e baixa capacidade de concentração
      Tenho obtido bastante valor especialmente quando passo à IA apenas uma função ou uma refatoração por vez, de modo que seja fácil testar durante o andamento
    • É porque as matérias também são todas escritas por IA
  • Sempre que vejo textos e discussões assim, fico impressionado com o fato de não percebermos o quanto é absurdo dizer que arruinamos o planeta e talvez restem só 5 ou 6 anos até danos fundamentais, enquanto ao mesmo tempo investimos recursos inimagináveis em LLMs
    No fim, precisamos abandonar ou a esperança do que LLMs com investimento suficiente poderiam trazer, ou a argumentação muito barulhenta, mas na prática vazia, sobre o dano que estamos causando à Terra

    • Não sei quem é esse “nós” aqui. Um lado da sociedade soa o alarme de que haverá danos irreversíveis ao meio ambiente, enquanto outro lado parece tentar fazer os números subirem o mais rápido possível, sem considerar, ou ignorando deliberadamente, os impactos sobre a vida humana em sentido mais amplo
      As pessoas que empurram os investimentos em IA não serão muito afetadas pelas mudanças climáticas. Mesmo que centenas de milhões de pessoas em regiões tropicais morram e uma grande parte da atividade humana organizada colapse, elas estarão protegidas das consequências até o último momento, então não se importam
    • Talvez, só talvez, agora que precisamos de mais energia, finalmente possamos encontrar formas mais sustentáveis de desenvolvimento
    • Fiquei curioso sobre o que você quer dizer com “argumentação vazia”
    • Você já deve ter ouvido falar no boom da energia solar. Está crescendo de forma exponencial
      E também não existe uma única pessoa comandando o mundo inteiro e decidindo o que vai acontecer
  • A bolha da IA vai estourar no ano que vem. Agora estamos mais ou menos em 1998 da bolha pontocom, e outro inverno da IA está chegando
    LLMs e IA generativa são o plano de negócios deste ano do tipo “um negócio na internet” ou “Uber para X”

    • Será que o estouro da bolha de IA vai puxar junto o restante do setor de startups, ou vai permitir mais investimento em tecnologias não relacionadas a IA?
      Tecnologias climáticas precisam de mais dinheiro
    • Acho que não vai acontecer assim
      A bolha econômica vai estourar depois das eleições, e saberemos quando o Fed começar a subir os juros de novo. Mas o catalisador desta vez provavelmente será o mercado imobiliário comercial
      Dentro do imobiliário comercial, data centers são o único item que parece saudável aos olhos dos investidores, ainda mais por causa do boom da IA. Acho que esses investidores vão despejar ainda mais dinheiro do que antes em geração de energia e outros setores ligados à IA para tentar escapar do colapso previsto
      A maior variável é se as oligarquias supranacionais tentarão usar esse colapso para uma mudança de política monetária muito maior, como moedas digitais de bancos centrais
    • Os índices preço/lucro do mercado estão muito altos, e estão assim há algum tempo. Ações de tecnologia e IA sustentam boa parte disso
      Basta ver o que aconteceu com a Tesla quando seus fundamentos começaram a balançar um pouco. Mesmo assim, eu teria cautela em prever que a “bolha da IA” vai estourar no ano que vem
  • Seria bom se a bolha de IA acabasse para que o HN pudesse falar de outra coisa

    • A bolha da IA é melhor do que a bolha das criptomoedas em qualquer momento
    • Se estiver cansado, você pode entrar na discussão sobre a bagunça do WordPress. Ultimamente ela tem aparecido bastante por aqui
    • Acho que vai estourar se o Fed concluir que a inflação não acabou e começar a subir os juros de novo dentro de 6 meses
      Só dá para alimentar a bolha até o ponto em que as pessoas comuns não aguentem mais a alta dos preços
    • Entre os 30 principais posts do HN no último mês (https://hn.algolia.com/?dateRange=pastMonth&page=0&prefix=fa...), apenas 6 eram sobre IA
      O post de IA mais bem colocado foi “OpenAI to become for-profit”, em 10º lugar; o 1º foi “Bop Spotter”, seguido por Starship e cancelamento de assinatura com um clique
    • As pessoas vão falar de IA pelo resto da vida. Se quiser, você pode entrar em uma comunidade Amish ou morar na floresta fazendo algo tipo Firewatch
  • Fico curioso sobre que efeito isso terá nos custos de cloud para pessoas como nós
    Por um lado, pode haver economias de escala; por outro, outras pessoas podem consumir recursos de cloud e empurrar os preços para cima. Alguém tem algum palpite sobre como isso vai ficar?

    • Não acho que vá aumentar os custos tradicionais de cloud baseados em CPU
      Basta olhar para os 192 núcleos da Ampere e as CPUs AMD de 196 núcleos. Ganhos de eficiência continuarão reduzindo o custo-benefício da cloud tradicional
  • Ainda não encontramos uma “IA” que naturalmente não alucine, e não sei como uma “IA” que alucina poderia ser útil fora de usos de nicho

    • Nos modelos novos, a fabricação de informações está diminuindo. Testei aqui um caso importante para fabricação baseada em documentos fornecidos, ou seja, RAG: https://github.com/lechmazur/confabulations/
      A diferença entre GPT-4 Turbo e GPT-4o é considerável
    • Em temas de foco muito estreito, sinto que os LLMs são muito mais prestativos e, em geral, precisos. Basta verificar o conteúdo gerado no código-fonte relevante ou na documentação oficial
      Em tese, conversar com Claude ou 4o quando tenho algo simples a perguntar economiza um tempo enorme todos os dias. Antes, era frustrante ter que vasculhar quatro ou mais motores de busca e atravessar spam demais de otimização para mecanismos de busca
      O recurso de resumo agora também virou quase um meme, mas é extremamente útil. Durante o dia, coloco em um banco de dados todos os links que parecem interessantes; então uma tarefa cron da Cloudflare busca o corpo de cada link, gera um resumo com o 4o e salva
      No fim de semana, passo os olhos pelos resumos dos links salvos e, se algo parece bem interessante, confiro pessoalmente e pesquiso mais
      Na prática, acabei conhecendo o SolidJS por um post aleatório com poucos votos que estava na página 4 do HN, e só pelo resumo obtive informações suficientes para ir conferir o SolidJS sem precisar ler até o fim um texto reclamando do ReactJS
    • Acho que o objetivo de minimizar alucinações deveria ser ajustado. Quando pessoas “mentem”, há um jeito familiar de fazer isso. Em frases como “acho que aquele restaurante fica por aqui” ou “essa pessoa não aparecia em Inception?”, as pessoas transmitem bem, pela voz, pelos gestos e pelo estilo de escrita, quais informações têm certeza e quais são incertas
      Fiz uma pergunta simples ao Gemini, e a alucinação foi realmente irritante. Como ele disse algo falso com confiança, meu cérebro instintivo passou a considerá-lo não confiável, e eu não quis fazer mais perguntas
      Pela natureza probabilística de como os LLMs funcionam, eliminar alucinações provavelmente é impossível, mas é possível ajustar melhor como elas são apresentadas aos humanos
    • Não é preciso imaginar. A IA generativa já é muito útil em muitas aplicações que não são de nicho
    • Acho que também há muita geração de conteúdo em que a qualidade realmente não importa. Nesses casos, alucinações também não importam muito
      Desde que não haja problemas legais, como discurso de ódio ou difamação
      Para espalhar em massa artigos, posts em redes sociais e até vídeos, pela escala, as alucinações não importam tanto. Já há conteúdo suficiente gerando visualizações suficientes para que isso se torne uma estratégia até certo ponto viável
  • Lembro-me de ouvir o Dr. Robert Martin, que liderava a Bell Labs no fim dos anos 90, dizer que a capacidade de largura de banda iria ao infinito e que o custo por bit iria a zero
    Todos sabemos como terminaram, antes do estouro da bolha, os construtores de capacidade óptica daquela época
    Há algum motivo para acreditar que a demanda por inteligência não se esgota? Há algum motivo para acreditar, como diz Sama, que o custo da inteligência como entrada do sistema converge para o preço da eletricidade que alimenta GPUs em data centers? Ambas as coisas são possíveis
    Ainda assim, seria possível dizer a mesma coisa sobre um bit de largura de banda

    • Sou muito cético quanto à ideia de que inteligência infinita terá um impacto positivo no padrão de vida dos trabalhadores do conhecimento
      No cenário mais pessimista, a IA nos substituirá e seremos enviados para as minas de carvão
      Mesmo no cenário mais otimista, o padrão de vida é uma composição de vários fatores enraizados na realidade; portanto, vejo o teto real como algo em torno de dobrar a qualidade de vida. Isso não quer dizer que seja pouca coisa, mas, olhando para os últimos 150 anos, não seria algo sem precedentes
    • Texto gerado não é inteligência