23 pontos por xguru 2024-12-30 | 2 comentários | Compartilhar no WhatsApp
  • Resumo condensado do relatório de 2025 (slides com 90 páginas) e explicações adicionais
  • "Na minha vida, houve apenas duas demos de tecnologia realmente revolucionárias: a GUI e o ChatGPT - Bill Gates"
  • A OpenAI foi avaliada em um valor estimado de $157B (a Microsoft levou 20 anos)
    • O ChatGPT alcançou reconhecimento no mainstream em uma velocidade sem precedentes
    • Há muito interesse, mas os usos ainda são limitados e ele não é percebido como tão útil
    • Já se fala no mercado se não há pouco retorno em relação ao investimento
  • No Hype Cycle, leva tempo para chegar ao "Plateau of Productivity"
  • A próxima mudança de plataforma é a "Generative AI"
    • Mainframe → PCs / SQL → Web / Open Source → Smartphones / Cloud → Generative AI
  • Mas ainda está tudo em aberto e ninguém sabe a resposta
    • How far will this scale?
    • How is this useful?
    • How do we deploy this?

How far will this scale? Até onde isso pode escalar?

  • Os LLMs vão ficar cada vez maiores (scaling)? Os LLMs vão passar a fazer "tudo"?
  • Scaling é difícil
    • Fazer esses modelos crescerem envolve muitos desafios e leva tempo
      • GPUs e energia, dados de treinamento, operação e engenharia, os resultados vão mesmo melhorar?
    • Neste momento, não há alternativa senão investir de qualquer forma (se não fizer isso, pode perder a tecnologia mais importante dos próximos 10 a 15 anos)
    • "We have no moat - Google"
    • "Os modelos que estamos treinando agora custam perto de $1b, e em 2025/2026 devem custar algo como $5b ou $10b - CEO da Anthropic"
    • "O poder computacional necessário para treinar o Llama 4 é mais de 10 vezes o do 3, e os modelos futuros continuarão crescendo além disso - Mark Zuckerberg"
  • Se o moat é "capital"... hoje a Nvidia não consegue atender à demanda
  • O capex das big four (Meta, Alphabet, AWS, MSFT) foi de $90b em 2023 e $220b em 2024. Em 2025, deve aumentar ainda mais
  • Tudo está mudando rapidamente, com o avanço tecnológico acontecendo debaixo dos nossos pés
    • Para que a tecnologia de IA continue avançando, é importante equilibrar desempenho (resultados melhores), direção e eficiência de recursos (custo de treinamento, custo de inferência, pegada de carbono)
  • "O modelo de internet de consumo de lançar de graça, ganhar tração por boca a boca e pensar na monetização depois não combina com a estrutura de custos dos grandes modelos de linguagem de hoje"
    • Tradicionalmente, software tinha alto custo inicial de desenvolvimento, mas quase nenhum custo para copiar ou distribuir, ou seja, era um produto de custo marginal quase zero
    • LLMs exigem enormes recursos computacionais (energia, servidores etc.) tanto no treinamento quanto na inferência, e os custos aumentam bastante conforme cresce o número de usuários
    • A estratégia de oferecer gratuitamente para conquistar uma grande base de usuários não é sustentável se não houver um modelo de monetização estabelecido
    • Ou seja, é necessário ter desde o início uma estratégia clara de recuperação de custos
  • "Todo mundo na indústria de tecnologia está oferecendo de graça o modelo de negócios de outra pessoa"
    • À medida que modelos de negócios ou tecnologias centrais de concorrentes e outras organizações viram open source ou são disponibilizados gratuitamente de outras formas, a vantagem competitiva exclusiva de certas empresas enfraquece
    • Ao abrir em open source ativos tecnológicos importantes, como modelos de IA, a Meta está transformando essa tecnologia em infraestrutura comum (commodity infrastructure) que qualquer um pode usar
    • A Apple, por meio de edge computing, está incentivando a execução de modelos de IA diretamente no dispositivo do usuário; em vez de rodar o modelo em um servidor central, faz com que ele seja tratado como uma simples chamada de API, reduzindo o valor comercial da tecnologia
  • O boom de modelos de 2023-2024 era sobre escolher 2 entre bom, rápido e barato

How is this useful? Quão útil isso é?

  • 2013: o machine learning começou a distinguir pessoas/cães/cadeiras. "É inteligente, mas e daí?"
  • 2023: o ML generativo como o ChatGPT é útil? "É inteligente, mas e daí?"
  • O reconhecimento de erros ainda é limitado. Para um tratamento eficaz de erros, é preciso uma abordagem equilibrada em todos os aspectos
    • É um desafio composto que combina problema científico (melhorar o modelo), definição de casos de uso e design de produto (melhoria de UX)
  • "Em 2024, como os LLMs são úteis?"
    • LLMs são, em essência, sistemas probabilísticos que preveem a próxima palavra
    • Nível atual: são úteis para resumir e sintetizar informações, mas ainda deixam a desejar em raciocínio complexo
    • Os LLMs têm potencial para automatizar novos tipos de trabalho, mas é preciso explorar mais para entender e definir isso por completo
  • O VisiCalc foi o primeiro programa de planilha eletrônica do mundo e reduziu um trabalho de cálculo que levava 20 horas para 15 minutos
    • Um advogado poderia achar isso extremamente inovador e inteligente, mas sentir que não teria aplicação no próprio trabalho
    • Mas casos assim estão aumentando
      • Entregam valor imediato em tarefas com necessidade clara, como programação, marketing e atendimento ao cliente
  • "Você precisa começar pela experiência do cliente e voltar para a tecnologia. - Steve Jobs"

How do we deploy this? Como implantamos isso?

  • Processo normalmente seguido quando uma nova tecnologia é adotada
      1. Absorb (integrar): transformar a nova tecnologia em funcionalidade e adicioná-la a negócios ou produtos existentes
      1. Innovate (inovar): desenvolver ideias ou produtos inovadores com base na nova tecnologia. Startups usam isso de forma separada (unbundle)
      1. Redefine markets (redefinir mercados): uma nova tecnologia pode derrubar as fronteiras de mercados existentes e criar mercados totalmente novos. Isso é difícil de prever, e casos de sucesso podem ser raros
  • Perguntas padrão que empresas fazem ao adotar uma nova tecnologia
    • "Buy versus build?" (comprar ou desenvolver internamente?)
    • "Single vendor or multi-vendor?" (usar um fornecedor único ou vários fornecedores?)
    • "Which use cases first? Whose budget?" (quais casos de uso vêm primeiro? de quem é o orçamento?)
    • "Opex or capex? What’s the EPS impact?" (é custo operacional ou investimento de capital? qual é o impacto no lucro por ação (EPS)?)
  • O futuro pode levar tempo
    • Cloud é uma palavra antiga e até cansativa, mas ainda representa só 30% do workflow total
    • Em 2024, um quarto dos CIOs lançou algo baseado em LLM, mas metade não planeja fazer nada nem no ano que vem
  • Mas uma nova plataforma significa novas ferramentas
    • Os SaaS expandiram enormemente a automação e estão desmembrando workflows de SAP, Excel e email
  • "Há duas formas de ganhar dinheiro: empacotar (bundle) ou desmembrar (unbundle). - Jim Barksdale"
  • E se os LLMs puderem lidar com tudo?: se os modelos avançarem o suficiente, será que vamos precisar de muito menos software?
    • Se a capacidade dos LLMs para lidar com tarefas específicas não melhorar além do nível atual, ainda será necessário continuar desenvolvendo novos softwares
    • Se os LLMs continuarem escalando e evoluindo, grande parte do desenvolvimento de software pode deixar de ser necessária
      • Possibilidade de evolução para uma "IA de propósito geral" que lida com tudo
  • LLMs são infraestrutura? API? plataforma? uma nova experiência do usuário?: vamos controlar os LLMs com sistemas lógicos ou controlar sistemas lógicos com LLMs?
    • LLMs podem ser usados como uma simples API, ou podem se tornar a plataforma inteira e fazer com que todo o resto vire API
    • O papel dos LLMs continuará evoluindo de acordo com o avanço tecnológico e sua capacidade de escalar
  • Os LLMs vão destruir nosso modelo de descoberta de casos de uso?: se tudo tiver a mesma UX, como empreendedores vão inventar novos casos de uso e novas formas de expressão?
    • No desenvolvimento tradicional de software, startups e empresas imaginam e inventam casos de uso específicos
    • Se os LLMs evoluírem a ponto de conseguir lidar com e automatizar todos os casos de uso, a necessidade do desenvolvimento tradicional de software pode diminuir
    • Se os LLMs se tornarem o centro da UX, talvez os próprios usuários precisem imaginar e inventar novos casos de uso
      • Mudança de paradigma no desenvolvimento de software e no design de UX
  • 'AI' tende a virar 'automação'.: As technology matures, it disappears
    • AI! → Smart → Auto → Just software
  • Três modelos para produtos com LLM?
    • Adicionar novas funções a aplicativos existentes: "reescreva meu email, resuma as avaliações"
    • Novas ferramentas: "analise e resuma 500 relatórios financeiros"
    • IA de propósito geral: "compre uma casa para mim"
  • Talvez toda pergunta sobre IA tenha uma de duas respostas.
    • "Vai funcionar como toda mudança de plataforma funciona."
    • "Ninguém sabe"

Meanwhile...

  • Da visão à execução: o que já é grande, o que está sendo construído agora e o que vem pela frente?
    • No início dos anos 2000, a grande ideia de inovação era o e-commerce: "as pessoas vão comprar coisas online"
    • Nos anos 2010, ideias como SaaS (Software as a Service), automação, ferramentas de colaboração e gestão de workflows ganharam destaque
    • Com foco em 2030, a Generative AI está se estabelecendo como a nova visão
  • A Meta ainda está no metaverso (VR & AR). Nesse meio tempo, já investiu pelo menos $60b e, nos últimos 12 meses, investiu $17.4b
  • O e-commerce continua praticamente igual (com exceção do período da COVID). É o gráfico mais sem graça entre os gráficos de tecnologia
  • Unbundling da Amazon: o GMV (Gross Merchandise Volume) da Shopify passou de $270b, equivalente a 35% do GMV da Amazon
  • A receita de publicidade da Amazon continua crescendo. Gera mais cash flow do que varejo/AWS
  • Software eats media: novos canais, novos modelos, novos bundles
    • Plataformas de mídia centradas em software, como YouTube e TikTok, registram receitas comparáveis às da mídia tradicional e emergem como forças dominantes no mercado
    • Grandes empresas tradicionais de mídia, como a Disney, continuam registrando receitas fortes, mas enfrentam a velocidade de crescimento das plataformas de software
    • Novas formas de mídia, como streaming (Netflix), desafiam o modelo tradicional centrado em cabo e radiodifusão
    • A mídia tradicional tenta manter sua competitividade com bibliotecas de conteúdo e conteúdo exclusivo, enquanto as plataformas de software maximizam receita combinando modelos baseados em publicidade e assinatura
  • Software eats cars? Depois de décadas de promessas e dezenas de bilhões de dólares em investimentos, talvez a direção autônoma finalmente esteja começando a funcionar
    • O número de corridas de robotáxi está crescendo de forma consistente. A indústria automotiva está migrando para serviços centrados em software
  • O carro está virando software?: os BEVs estão se aproximando de 10% das vendas totais, mas quem vai vencer? Esse processo vai funcionar como o Android?
    • Veículos elétricos a bateria (Battery Electric Vehicle) responderam por cerca de 10% das vendas totais de automóveis em 2023, tornando-se uma tecnologia mais mainstream
    • Empresas como a Tesla estão transformando o BEV não apenas em um veículo, mas em um produto centrado em software. Isso sugere a possibilidade de os BEVs formarem um ecossistema de software semelhante ao dos smartphones