Panorama do setor de ML/AI/Data em 2024 e as tendências mais recentes

Mapa do setor MAD (ML, AI, Data) em 2024 resumido em uma única imagem, com a explicação de 24 temas do ano

[Parte I : Panorama]

• Na primeira versão, em 2012, havia apenas 139 empresas, mas em 2024 o ecossistema MAD passou a incluir 2.011 empresas
• Isso representa a adição de 578 empresas em relação às 1.416 do ano passado
• O motivo de tantas empresas estarem incluídas é que, nos últimos cerca de 10 anos, ocorreram em sequência duas grandes ondas de avanço tecnológico: infraestrutura de dados e tecnologias de ML/AI
  • A primeira onda foi cerca de uma década de evolução em infraestrutura de dados, começando com big data e culminando no modern data stack
  • A segunda onda é o avanço das tecnologias de ML/AI iniciado pela IA generativa (Generative AI)
• O ecossistema MAD tem como foco mostrar todo o ciclo de vida dos dados, desde a coleta até o armazenamento, processamento, análise e geração de valor por meio de aplicações

Principais mudanças nas áreas de infraestrutura e análise

• A área de infraestrutura de dados (o lado esquerdo do ecossistema MAD) não teve grandes mudanças recentemente
  • "Database Abstraction" foi alterado para "Multi-Model Databases & Abstractions", refletindo o surgimento de bancos de dados multimodelo all-in-one como SurrealDB e EdgeDB
  • A seção "Crypto / Web 3 Analytics", criada experimentalmente no ano passado, foi removida
  • A seção "Query Engine" também foi removida (as empresas dessa categoria continuam incluídas)

Principais mudanças nas áreas de machine learning e inteligência artificial

• Em 2023, houve o maior número de mudanças estruturais nessa área devido ao crescimento explosivo das empresas de IA
• Foram adicionadas 3 novas categorias ao lado de MLOps
  • "AI Observability": startups que testam, avaliam e monitoram aplicações com LLM
  • "AI Developer Platforms": plataformas de desenvolvimento de aplicações de IA semelhantes a MLOps, mas focadas em treinamento, implantação e inferência de LLM
  • "AI Safety & Security": empresas que lidam com preocupações específicas de LLM, como hallucination, ética e conformidade regulatória
• "Horizontal AI/AGI" foi dividido em duas categorias: "Commercial AI Research" e "Nonprofit AI Research"
• "GPU Cloud" foi alterado para "GPU Cloud / ML Infra", refletindo a adição de funções centrais de infraestrutura por parte dos provedores de nuvem GPU

Principais mudanças na área de aplicações

• Todas as empresas da camada de aplicações agora se descrevem como "empresas de IA"
• Foi adicionada a categoria "Presentation & Design" em "Horizontal Applications"
• "Search" foi alterado para "Search / Conversational AI", refletindo o surgimento de interfaces de chatbot baseadas em LLM, como o Perplexity
• Em "Industry", "Gov't & Intelligence" foi alterado para "Aerospace, Defense & Gov't"

Principais mudanças na área de infraestrutura open source

• Foi criada uma única categoria, "Data Management", abrangendo "Data Access" e "Data Ops"
• Foi adicionada uma nova categoria chamada "Local AI", que fornece ferramentas de infraestrutura para levar IA e LLM ao ambiente local de desenvolvimento

[Parte II: 24 temas de 2024]

1. Dados estruturados vs. dados não estruturados

• Existem dados estruturados, que podem ser organizados em linhas e colunas, e dados não estruturados, como texto, imagem, áudio e vídeo
• Dados estruturados são extraídos, armazenados e transformados para fins analíticos, sendo visualizados em ferramentas de BI ou usados em modelos tradicionais de ML/AI
• Dados não estruturados são usados principalmente para treinar e utilizar (inferência) modelos de IA generativa, como LLMs
• Atualmente, os dados não estruturados (ML/AI) estão em destaque, enquanto os dados estruturados (como o modern data stack) não estão

2. O modern data stack morreu?

• O modern data stack (MDS) lida com pipelines de dados estruturados e, até pouco tempo atrás, era um dos conceitos mais comentados do setor de software
• O MDS era estruturado em torno do cloud data warehouse, com Fivetran/Airbyte na parte upstream, DBT no meio e Looker/Mode na parte downstream
• Quando a Snowflake realizou um IPO recorde, o interesse pelo MDS explodiu, levando à criação excessiva de startups e a investimentos de VCs
  • Categorias como catálogo de dados, observabilidade de dados, ETL e reverse ETL ficaram saturadas em apenas 1 ou 2 anos
• O MDS era, ao mesmo tempo, uma solução para problemas reais e uma aliança de marketing entre várias startups ao longo da cadeia de valor dos dados
• Mas hoje o MDS enfrenta pressão porque ① é caro por exigir a combinação de várias soluções de fornecedores diferentes e ② já não recebe tanta atenção, ofuscado pela IA generativa

3. Consolidação na infraestrutura de dados e crescimento das grandes empresas

• Em 2024, espera-se que o setor de infraestrutura e análise de dados passe pelas seguintes mudanças:
  • Muitas startups ligadas ao MDS vão tentar se reposicionar como "startups de infraestrutura de IA"
    • Algumas podem conseguir, mas a maioria precisará de uma evolução fundamental do produto para migrar de dados estruturados para dados não estruturados
  • O setor de infraestrutura de dados finalmente deve passar por algum nível de consolidação
    • Até agora, o M&A era limitado, mas em 2023 ocorreram aquisições de pequeno e médio porte, como Stemma (adquirida pela Teradata), Manta (adquirida pela IBM) e Mode (adquirida pela ThoughtSpot)
  • O número de casos de fracasso entre startups deve aumentar bastante
    • A situação segue piorando com o esgotamento do capital de VC. Muitas startups reduziram fortemente os custos, mas acabarão enfrentando falta de caixa. Não parece provável que haja manchetes glamourosas
  • Empresas de maior porte vão se dedicar ainda mais à estratégia de plataforma
    • Isso pode acontecer por meio de aquisições, mas também pela tentativa de cobrir mais funcionalidades com desenvolvimento interno

4. Situação atual de Databricks vs. Snowflake

• A Snowflake, no setor de dados estruturados, continua sendo uma excelente empresa e negocia com uma das maiores valuations entre as empresas de tecnologia (P/L de 14,8x)
  • No entanto, como muitas empresas de software, seu crescimento desacelerou bastante
    • A receita do ano fiscal de 2024 foi de US$ 2,67 bilhões, alta de 38% na comparação anual, e a taxa de crescimento esperada para os próximos 12 meses é de 22%
  • Acima de tudo, passa a impressão de estar enfrentando dificuldades em inovação de produto
    • A reação à IA tem sido lenta e a empresa também tem sido pouco agressiva em M&A
    • A recente troca de CEO, um tanto repentina, também é um sinal interessante
• A Databricks, no setor de dados não estruturados, mostra forte momentum no geral
  • Segundo relatos, a receita do ano fiscal de 2024 chegou a US$ 1,6 bilhão, com crescimento superior a 50% (empresa de capital fechado)
  • A Databricks está emergindo como uma das principais empresas da IA generativa
    • Tem sido ativa tanto em M&A quanto no desenvolvimento interno de produtos, como mostra a aquisição da MosaicML por US$ 1,3 bilhão
    • Além de ser um repositório central para os dados não estruturados fornecidos a LLMs, também desenvolve diretamente vários modelos, do Dolly ao recém-anunciado DBRX
• Uma nova variável na disputa entre as duas é o lançamento do Fabric pela Microsoft
  • Anunciado em maio de 2023, o Fabric é uma plataforma SaaS de análise de dados em nuvem de ponta a ponta
  • Ele integra o data lake OneLake da Microsoft, a ferramenta de BI Power BI, o Synapse e outros componentes, cobrindo de integração de dados e engenharia até ciência de dados
  • Pode haver uma distância entre o anúncio e o produto real, mas, combinado ao investimento da Microsoft em IA generativa, isso pode se tornar uma ameaça poderosa
  • Também é interessante notar que a Databricks roda principalmente sobre a nuvem Azure, da própria Microsoft

5. Situação do BI em 2024 e a IA generativa está mudando a análise?

• Entre MDS e a área de pipelines de dados estruturados, o campo que mais urgentemente precisava ser reinventado era o de BI
  • Em 2019, no MAD, já se apontava que a consolidação do setor de BI estava praticamente concluída, e em 2021 foi abordado o surgimento dos metric stores
• No entanto, a transformação de BI/análises vem avançando mais lentamente do que o esperado
  • Produtos mais antigos como Power BI, Tableau e Looker ainda dominam o mercado e, muitas vezes, são oferecidos de graça por estarem atrelados a contratos comerciais maiores
  • Houve alguma consolidação adicional (a aquisição da Mode pela ThoughtSpot, a aquisição da Sisu pela Snowflake), e também existem empresas mais jovens tentando abordagens inovadoras, como dbt (semantic layer/MetricFlow) e Trace (metric tree), mas tudo isso ainda está em estágio inicial
• Ao mesmo tempo, a IA generativa pode ter grande impacto não apenas na extração/transformação de dados, mas também na própria análise
  • Houve movimentações intensas como o Code Interpreter da OpenAI (hoje Advanced Data Analysis) e o chatbot financeiro da Microsoft para Excel
  • Vendors de nuvem, Databricks, Snowflake, a comunidade open source e várias startups estão desenvolvendo ou já lançaram produtos de "text to SQL" que executam consultas em bancos de dados a partir de linguagem natural
• Isso sinaliza uma mudança interessante e potencialmente disruptiva
  • A democratização da análise é uma ambição antiga, e se a linguagem natural se tornar a interface de notebooks/DB/ferramentas de BI, muito mais gente poderá realizar análises
• No entanto, dentro do setor de BI também há ceticismo
  • Argumenta-se que a precisão do SQL e a compreensão do contexto de negócio por trás das consultas serão obstáculos para a automação

6. A ascensão da stack moderna de IA

• Até aqui, boa parte da discussão tratou de pipelines de dados estruturados
• A infraestrutura de dados não estruturados vive um momento muito diferente da infraestrutura de dados estruturados. A demanda por dados para alimentar LLMs é extremamente alta
  • Toda empresa que experimenta ou implementa IA generativa está redescobrindo o clichê de que "dados são o novo petróleo"
  • Todo mundo quer o poder dos LLMs, mas quer modelos treinados com seus próprios dados corporativos
• Grandes empresas e startups estão entrando agressivamente na disputa para fornecer infraestrutura para IA generativa
• Várias empresas de AI scale-up estão evoluindo seus produtos de forma agressiva para ganhar momentum
  • Databricks, Scale AI (evoluindo a infraestrutura de rotulagem para carros autônomos para pipelines de dados corporativos em parceria com OpenAI e outros), Dataiku (lançou o LLM Mesh para múltiplos vendors/múltiplos modelos) etc.
• Ao mesmo tempo, uma nova geração de startups de infraestrutura de IA está surgindo em várias áreas
  • Vector DB: armazenam dados em um formato que modelos de IA generativa conseguem consumir (vector embeddings). Vendors especializados como Pinecone, Weaviate, Chroma e Qudrant estão crescendo rapidamente, e empresas de banco de dados já estabelecidas, como MongoDB, também estão adicionando recursos de busca vetorial. Ao mesmo tempo, há debate sobre se a expansão da context window poderá tornar vector DBs desnecessários
  • Frameworks: fazem a ligação e a orquestração de vários componentes, como LlamaIndex e Langchain
  • Guardrails: ficam entre o LLM e o usuário para garantir resultados alinhados às regras da organização
  • Evaluators: testam/analisam/monitoram o desempenho de modelos de IA generativa. É visto como um problema difícil devido à desconfiança em relação a benchmarks públicos
  • Roteadores: distribuem consultas de usuários em tempo real entre vários modelos para otimizar desempenho/custo/experiência
  • Gestão de custos: monitoram os gastos com uso de LLMs
  • Endpoints: APIs que abstraem a complexidade da infraestrutura subjacente, como os modelos
• Diante do precedente do MDS, há relutância em usar o termo "stack moderna de IA"
  • Ainda assim, há muitas semelhanças: essas startups são "hot", andam em grupo e fecham parcerias de marketing/produto, assim como as empresas de MDS no passado
• Essa nova geração de startups de infraestrutura de IA enfrentará desafios parecidos com os das empresas de MDS
  • Cada categoria é grande o bastante para criar empresas de dezenas de bilhões de dólares?
  • Que partes a big tech (empresas de nuvem, Databricks, Snowflake etc.) vai simplesmente construir por conta própria?

7. O ciclo de hype da IA: em que ponto estamos?

• Ao longo de décadas, a IA vem alternando entre verões e invernos. Só nos últimos 10 a 12 anos, houve três ciclos de hype
  • 1º: de 2013 a 2015, iniciado quando deep learning ganhou destaque após o ImageNet 2012
  • 2º: por volta de 2017-2018, com o boom dos chatbots e a ascensão do TensorFlow
  • 3º: de novembro de 2022 até agora, com a IA generativa
• Este ciclo de hype em particular é tão intenso que chega a parecer uma bolha de IA. Isso se deve a vários fatores
  • A tecnologia em si é extremamente impressionante e, além do campo técnico, também é facilmente compreensível para o público em geral
  • Para VCs com muito dry powder, foi praticamente o único destino de investimento em um momento em que todas as outras áreas de tecnologia estavam desaquecidas
• Como sempre acontece com o hype, ele vem com várias vantagens ("sem entusiasmo quase fanático não há grande conquista", dinheiro fluindo para projetos ambiciosos no estilo "deixe cem flores florescerem") e desvantagens (da noite para o dia todo mundo vira especialista em IA, toda startup passa a ser uma empresa de IA, há uma enxurrada de conferências/podcasts/newsletters de IA e um dilúvio de market maps de IA)
• No entanto, o principal problema de um ciclo de hype é a reação inevitável que vem depois
• O momento atual traz várias "excentricidades" e riscos embutidos
  • A estrutura jurídica e de governança peculiar da empresa mais representativa (OpenAI)
  • A proliferação de acordos pouco compreendidos ou pouco divulgados de "receber participação em troca de fornecer poder computacional" (com possibilidade de round-tripping)
  • Muitas startups promissoras são administradas por pesquisadores de IA
  • O comportamento dos VCs lembra a era dos juros zero ("corrida por território", rodadas gigantes e valuations de cair o queixo para empresas recém-nascidas)
• Já há sinais de rachaduras no hype da IA (ver abaixo), mas por enquanto ainda estamos em uma fase em que toda semana surge algo novo que surpreende a todos. Ao ver notícias como o fundo saudita de US$ 40 bilhões para IA, parece difícil que a entrada de capital pare tão cedo

8. Experimento ou realidade? 2023 foi de mentirinha?

• Diante de tanto hype, vale revisitar quanto do que aconteceu até agora foi de fato substancial e quanto não passou de experimentação
• 2023 foi um ano extremamente movimentado
  • Todas as empresas de tecnologia correram para incluir IA generativa em seus produtos
  • Conselhos de administração das empresas do Global 2000 passaram a exigir adoção de IA, e até companhias de setores regulados como Morgan Stanley e Citibank avançaram em ritmo recorde
  • Consumidores demonstraram enorme entusiasmo por apps de IA generativa
• Como resultado, OpenAI (ARR de US$ 2B), Anthropic (receita estimada de US$ 850M em 2024), Midjourney (40 pessoas e US$ 200M de receita sem captar investimento) e Perplexity (MAU de 0 para 10 milhões) obtiveram grande sucesso
• Mas será que devemos olhar isso com cinismo? Há algumas preocupações
  • Em muitos casos, o gasto das empresas ficou restrito a PoCs ou resultados chamativos, frequentemente saindo de orçamentos de inovação
    • Será que não foi mais uma iniciativa para executivos não parecerem atrasados do que uma tentativa de resolver problemas reais de negócio?
  • Apps de consumo têm alta taxa de churn. Será que não era apenas curiosidade passageira?
  • Há muita gente que ainda não sabe bem como usar IA generativa, seja pessoalmente ou no trabalho
  • Mesmo produtos feitos pelos melhores especialistas em IA não necessariamente vão parecer mágicos
    • Como interpretar o caso da Inflection AI, que levantou US$ 1.3B e ainda assim fechou de forma melancólica? Isso seria um sinal de que o mundo não precisa de mais um chatbot de IA ou de outro LLM?

9. As empresas de LLM talvez não tenham se comoditizado tanto assim?

• Empresas de LLM estão recebendo volumes enormes de capital de risco e recursos corporativos
• A pergunta mais comum nos últimos 18 meses foi esta: estamos vendo uma quantidade enorme de capital ser queimada em produtos que no fim das contas vão se comoditizar? Ou essas empresas de LLM vão se tornar a nova AWS, Azure e GCP?
• Um fato incômodo do ponto de vista das empresas de LLM é que nenhuma LLM parece conseguir construir uma vantagem sustentável de desempenho
  • No momento, Claude 3 Sonnet e Gemini Pro 1.5 são melhores que o GPT-4, e o GPT-4 é melhor que o Gemini 1.0 Ultra, mas essa hierarquia parece mudar a cada poucas semanas
  • Também há volatilidade de desempenho — o ChatGPT em certo momento “pirou” e “ficou preguiçoso”, depois se recuperando temporariamente
• Além disso, modelos open source (Llama 3, Mistral, DBRX etc.) também estão alcançando rapidamente esse nível
• Ao mesmo tempo, há muito mais empresas de LLM no mercado do que se previa inicialmente
• Até poucos anos atrás, prevalecia a visão de que haveria apenas uma ou duas empresas de LLM, em uma dinâmica de vencedor leva tudo, porque havia pouquíssimas pessoas no mundo com a expertise necessária para escalar transformers
• Porém, parece haver mais equipes competentes do que se imaginava
  • Além de OpenAI e Anthropic, há muitas startups fazendo pesquisa fundamental em IA, como Mistral, Cohere, Adept, AI21, Imbue e 01.AI, além de equipes do Google, Meta e outras
• Ainda assim, até agora as empresas de LLM não estão indo mal. OpenAI e Anthropic estão aumentando a receita em ritmo impressionante
• Os “modelos” de LLM podem se comoditizar, mas as “empresas” de LLM ainda têm diante de si uma enorme oportunidade de negócio
  • Elas já se tornaram empresas “full-stack”, oferecendo aplicações e ferramentas para consumidores, empresas e desenvolvedores em cima dos modelos de base
• A analogia com empresas de nuvem parece bastante adequada
  • AWS, Azure e GCP atraem e retêm clientes por meio da camada de aplicações/ferramentas e, em geral, lucram com a camada de computação/armazenamento, amplamente não diferenciada

10. Futuro híbrido: LLM, SLM

• Embora haja grande atenção sobre LLMs de grande porte (GPT-3, GPT-4, GPT-5 etc.), os SLMs (small language models) também estão evoluindo rapidamente
  • Llama-2-13b da Meta, Mistral-7b/Mixtral 8x7b da Mistral, Phi-2/Orca-2 da MS etc.
  • SLMs têm custo operacional menor, são fáceis de ajustar com fine-tuning e também oferecem bom desempenho
• Também estão surgindo modelos especializados em tarefas específicas (programação, finanças etc.)
  • Modelos especializados em programação, como Code-Llama e Poolside AI
  • Modelos voltados a setores específicos, como o modelo financeiro da Bloomberg e o modelo de ciência dos materiais da Orbital Materials
• Nas empresas, a evolução está ocorrendo rapidamente para arquiteturas híbridas que combinam esses diferentes modelos
• Embora os preços estejam caindo, grandes LLMs proprietários ainda são caros e também têm problemas de latência, então usuários e clientes tendem cada vez mais a implantar combinações de modelos variados
  • A tendência é combinar modelos grandes/pequenos, comerciais/open source e de uso geral/especializados de acordo com a necessidade e o orçamento

11. A IA tradicional morreu?

• Com a chegada do ChatGPT, tecnologias de IA que até então eram consideradas de ponta passaram a ser chamadas de “IA tradicional” da noite para o dia
• Porém, a IA tradicional (ou IA preditiva) lida com dados estruturados e é complementar à IA generativa
• A IA tradicional já é usada em larga escala por inúmeras empresas
• Daqui para frente, as empresas terão de pensar em quais tarefas usar LLMs, em quais usar modelos tradicionais de IA e como combinar os dois

12. Wrappers finos, wrappers grossos e a corrida para se tornar full-stack

• Wrapper fino (thin wrapper): termo popular em 2023 com sentido pejorativo para produtos dependentes de tecnologia de terceiros, como a OpenAI
  • As dificuldades de startups como a Jasper reforçam essa visão
• Porém, com o tempo, também começaram a surgir formas de diferenciação
  • Foco em problemas específicos (verticais)
  • Construção de recursos de workflow, colaboração e integrações profundas
  • Trabalho no nível do modelo de IA, como fine-tuning de modelos e construção de sistemas híbridos
• Ou seja, é preciso virar full-stack (aplicação + infraestrutura) e, ao mesmo tempo, ser especializado (narrow)

13. Áreas para ficar de olho: agentes de IA, Edge AI

• Agentes de IA são um grande foco de interesse como estágio final da automação
  • Mas a IA generativa ainda mostra fragilidades, ficando abaixo das expectativas
  • São necessários complementos como a adição de memória aos sistemas de IA
  • Ainda assim, tudo indica que será uma das áreas mais interessantes nos próximos 1 a 2 anos
• Edge AI também é uma área de interesse
  • Modelos que rodam no próprio dispositivo sem GPU são uma ambição antiga
  • Há grande potencial para aplicação em smartphones e dispositivos IoT
  • Há projetos open source ativos como Mixtral, Ollama e Llama.cpp

14. A IA generativa está avançando rumo à AGI ou entrando em estagnação?

• Apesar do rápido avanço da tecnologia, há preocupações de que a IA generativa possa esbarrar em limites por ① restrições de recursos (computação, dados) ou ② limitações decorrentes da falta de capacidade de raciocínio
• Discussões semelhantes já existiam em 2018, e desde então o aumento de investimento em recursos foi marcante
• Na área de reasoning, houve avanços significativos, como o AlphaGeometry da DeepMind
• Os limites de recursos são difíceis de avaliar. A quantidade de computação continua crescendo (NVIDIA Blackwell), e também parece haver espaço para superar limites de dados com geração de dados sintéticos
• Para quem participa do ecossistema de startups, o quanto o GPT-5 vai melhorar em relação ao GPT-4 será um termômetro da velocidade do progresso tecnológico
  • Mesmo que o avanço da IA generativa pare agora, ainda deve haver muitas oportunidades de negócio por algum tempo

15. Guerra das GPUs (a NVIDIA está supervalorizada?)

• Estamos entrando em uma nova era em que capacidade computacional será o recurso mais valioso do mundo, ou seria uma bolha causada por superprodução de GPUs?
• A NVIDIA praticamente monopoliza o mercado de GPUs voltadas para IA e vive um boom, com as ações subindo cinco vezes
  • Isso também pode ser porque o dinheiro investido por VCs em IA acabou indo para a NVIDIA
• Porém, fabricar hardware (fábricas da TSMC) não é algo simples, então o destino da NVIDIA depende da sustentabilidade desse boom atual
• Há desafios de concorrentes como AMD e Intel, mas no longo prazo a perspectiva para fabricantes de chips de IA parece positiva

16. IA open source: excesso demais?

• No último ano, a IA open source ganhou enorme destaque
  • Llama da Meta, Mistral e Gemma do Google chamaram atenção, e a HuggingFace continua crescendo ao hospedar inúmeros modelos
  • Uma parte considerável do trabalho mais inovador em IA generativa está sendo feita na comunidade open source
• Porém, também há sinais de excesso nessa comunidade
  • Centenas de milhares de modelos open source foram divulgados, mas a maioria está no nível de brinquedo ou de projeto de fim de semana
  • Muitos modelos sobem no ranking e somem em poucos dias, depois de uma breve fama
• O mercado deve se autorregular, e apenas alguns poucos projetos open source bem-sucedidos receberão apoio de empresas de nuvem e outras. Mas, até lá, a situação deve continuar confusa

17. Quanto a IA realmente custa?

• A viabilidade econômica da IA generativa é um tema que está evoluindo rapidamente
  • Para desafiar o Google no mercado de busca, é preciso reduzir o custo de fornecer respostas baseadas em IA para abaixo do custo de mostrar 10 links
  • Empresas de software baseadas em IA precisam evitar que o custo de inferência corroa a margem bruta
• Para clientes e usuários de modelos de IA, há uma boa notícia: a competição por redução de preços está acontecendo mais rápido do que o esperado
  • Com a IA open source e o surgimento de fornecedores comerciais de inferência, o custo de troca para clientes ficou muito baixo, o que está pressionando OpenAI e Anthropic
  • A redução simultânea de preços de modelos de embeddings é um exemplo
• Do ponto de vista dos fornecedores, o custo de construir e operar serviços de IA ainda é alto
  • A Anthropic teria gasto mais da metade da receita com custos de nuvem
  • Custos de licenciamento de dados também não são triviais
• Para os usuários, uma alternativa é aproveitar serviços gratuitos subsidiados por VC

18. A mudança na economia política da IA entre as big techs: a Microsoft venceu?

• Pergunta levantada desde o fim de 2022: as big techs vão acabar ficando com a maior parte do valor da IA generativa?
• Em IA, ter mais dados, mais capacidade computacional e mais pesquisadores é uma vantagem. As big techs sabem bem disso e estão reagindo de forma agressiva
• A Microsoft parece estar reagindo da forma mais eficaz (como se estivesse jogando xadrez 4D)
  • Investiu US$ 13 bilhões na OpenAI
  • Firmou parceria com a concorrente open source Mistral
  • Adquiriu a Inflection AI, rival do ChatGPT
  • A receita do Azure também segue crescendo fortemente
• Google/Amazon fizeram parceria e investiram na Anthropic, e a Amazon firmou parceria com a Hugging Face
• A Meta parece estar apostando tudo em IA open source
• As mudanças vindas da China também merecem atenção
• A questão central é quanto espaço ainda haverá para o crescimento das startups
  • Algumas poucas, como OpenAI e Anthropic, aceleraram sua fuga por meio de boas parcerias
  • Mas o futuro de muitas startups é incerto
  • A aquisição da Inflection AI e a crise envolvendo o CEO da Stability AI sugerem as dificuldades das startups de “segunda linha”

19. Entusiasmo com a OpenAI vs ceticismo

• A OpenAI continua atraente
  • Avaliação de US$ 86 bilhões, crescimento acelerado de receita, conflitos entre fundadores (?), Sam Altman como o Steve Jobs desta geração
• Perguntas interessantes:
  • A OpenAI não está tentando fazer coisas demais? Parece querer fazer tudo em IA, tanto na vertical quanto na horizontal — não seria ambição demais?
    • Há um precedente parecido no caso da Coinbase
    • Será um desafio muito difícil em um cenário de competição cada vez mais intensa
    • Questões envolvendo o ChatGPT e o fraco desempenho do marketplace sugerem que a OpenAI também pode enfrentar dificuldades
  • A OpenAI e a Microsoft vão romper?
    • O apoio da Microsoft ajuda muito a OpenAI (recursos, clientes corporativos etc.)
    • Mas a Microsoft deixa claro que não depende da OpenAI (parceria com a Mistral, aquisição da Inflection AI etc.) e também tem capacidade própria de IA mais que suficiente
    • Por outro lado, a OpenAI talvez não queira depender apenas da Microsoft. Pode desejar ser implantada em outras nuvens
    • Considerando a enorme ambição da OpenAI e a busca da Microsoft por domínio, parece possível que as duas acabem se tornando concorrentes

20. 2024 será o ano da IA corporativa?

• Em 2023, a adoção de IA nas empresas ficou em nível de prova de conceito
• O maior beneficiado da IA generativa em 2023 foram empresas como a Accenture, que faturou US$ 2 bilhões com consultoria em IA
• Há expectativa de que 2024 seja o marco inicial da IA generativa corporativa (a IA tradicional já foi bastante adotada)
• Mas ainda há muitas questões a resolver:
  • Os casos de uso ainda se limitam a algumas áreas, como copilotos para desenvolvedores, gestão do conhecimento corporativo e chatbots de atendimento ao cliente
  • Ainda é incerto quais ferramentas escolher (comercial/open source, modelos grandes/pequenos, especialização horizontal/vertical etc., exigindo combinações)
  • A falta de talentos é grave (se já é difícil contratar desenvolvedores, imagine engenheiros de ML)
  • Problemas de alucinação e de caixa-preta são riscos sérios do ponto de vista das empresas
  • É preciso comprovar o ROI (há alguns casos, como o da Palo Alto Networks, que teria reduzido pela metade os custos de gestão de viagens)
• Um ponto positivo é que as empresas estão dispostas a usar orçamento de OpEx, e não apenas orçamento de inovação
• Ainda assim, uma adoção em larga escala deve levar de 3 a 5 anos

21. A IA vai matar o SaaS?

• Uma das ideias que ficou em alta no último ano
• O argumento é que, com a IA elevando a produtividade de programação em 10 vezes, até pequenos times de desenvolvedores conseguiriam criar SaaS sob medida, tornando desnecessário o SaaS existente
• Ou então que, se a IA passar a cuidar de tudo em RH/finanças/vendas etc., softwares separados deixariam de ser necessários
• Parece difícil que qualquer um dos dois cenários se realize de forma completa
• O mais provável é que a IA seja incorporada ao SaaS existente, tornando-o mais poderoso

22. A IA vai matar o venture capital?

• Deixando de lado a questão de saber se a IA pode automatizar a seleção de empresas por VCs e a geração de valor após o investimento, é preciso discutir se o tamanho da classe de ativos de VC é adequado para a era da IA
• O VC não seria pequeno demais?
  • Empresas como a OpenAI precisam de bilhões de dólares, e de ainda mais capital
  • Grandes empresas como a Microsoft estão fornecendo boa parte desses recursos (provavelmente na forma de capacidade computacional)
  • Alguns VCs estão investindo em grandes empresas de modelos fundacionais, mas isso está longe do modelo tradicional de investimento em software por venture capital
  • Investimentos em IA podem exigir fundos em escala mega (há notícias de que a Arábia Saudita quer montar um fundo de IA de US$ 40 bilhões em parceria com VCs dos EUA)
• Ou o VC não seria grande demais?
  • Se a IA elevar a produtividade dos desenvolvedores em 10 vezes e permitir vendas/marketing automatizados
  • Talvez chegue uma era em que pequenos times, ou até empresas de uma pessoa só, possam faturar centenas de milhões de dólares e abrir capital
  • Uma empresa de uma pessoa que fatura US$ 100 milhões realmente precisaria de capital de VC do início ao exit?

23. A IA pode reanimar o mercado consumidor?

• Será que o mercado consumidor, em retração desde a era das redes sociais/mobile, pode voltar a crescer com a IA generativa?
• Áreas interessantes:
  • Busca: startups como Perplexity AI e You.com desafiam o Google pela primeira vez em décadas e lideram a evolução de mecanismos de busca para mecanismos de resposta
  • Companheiros de IA: deixando de lado as preocupações distópicas, e se cada pessoa pudesse ter seu próprio companheiro útil e infinitamente paciente?
  • Hardware de IA: tentativas interessantes de hardware de IA para consumidores, como Humane, Rabbit e VisionPro
  • Entretenimento hiperpersonalizado: à medida que as ferramentas de IA generativa evoluem e ficam mais baratas, que novas formas de entretenimento e arte podem surgir?

24. IA e blockchain: absurdo ou interessante?

• O encontro entre IA e cripto é um prato cheio para memes no Twitter
• Mas é preocupante que recursos de IA, como computação, dados e talentos, estejam concentrados em poucas empresas
• A essência do blockchain é fazer com que participantes compartilhem recursos e ativos por meio de redes distribuídas
• Há uma área aí que vale explorar entre os dois campos (um tema que vem sendo pensado há alguns anos)
• Chama atenção a aceleração de projetos relacionados como Bittensor (plataforma de IA distribuída), Render (plataforma distribuída de renderização por GPU) e Arweave (plataforma de dados distribuída)
• A questão é se o setor cripto conseguirá ajudar a si mesmo, ou se vai se degradar em memecoins ligadas à IA e fraudes

BÔNUS: tópicos que não foram abordados

• A IA vai matar todos nós? AI doomsday vs aceleracionistas da IA
• Regulação, privacidade, ética, deepfakes
• A IA só pode ser criada no Vale do Silício?

[Part III: Financing, M&A & IPO]

Financiamento

• Os investimentos em IA e nos demais setores vêm mostrando um claro cenário de “história de dois mercados”
• O investimento geral continuou caindo e, em 2023, totalizou US$ 248,4 bilhões, uma queda de 42%. Nos primeiros meses de 2024 há uma leve recuperação, mas a tendência ainda é parecida
• A infraestrutura de dados teve muita dificuldade para atrair investimentos por vários dos motivos já citados, com Sigma Computing e Databricks sendo casos excepcionais
• Já a IA foi uma história completamente diferente
• As características do mercado de investimento em IA são as seguintes:
  • O capital está concentrado em poucas startups, especialmente OpenAI, Anthropic, Inflection AI e Mistral
  • Participação anormalmente alta de investidores corporativos (CVC), como MS, Google e NVIDIA
  • Falta de transparência, nos registros de negócios de CVC, entre o dinheiro efetivamente investido e a “participação acionária recebida em troca de apoio com poder computacional”
• As transações mais notáveis desde o MAD de 2023 foram as seguintes (em ordem cronológica, não é uma lista completa):
  • OpenAI (desenvolvedora representativa de modelos fundacionais): captou US$ 10,3 bilhões em duas rodadas, valuation de US$ 86 bilhões
  • Adept (desenvolvedora de modelos fundacionais): levantou US$ 350 milhões, valuation de US$ 1 bilhão
  • AlphaSense (plataforma de pesquisa financeira): captou US$ 475 milhões em duas rodadas, valuation de US$ 2,5 bilhões
  • Anthropic (desenvolvedora de modelos fundacionais): captou US$ 6,45 bilhões em três rodadas, valuation de US$ 18,4 bilhões
  • Pinecone (plataforma de banco de dados vetorial): levantou US$ 100 milhões, valuation de US$ 750 milhões
  • Celestial AI (plataforma de interconexão óptica): captou US$ 275 milhões em duas rodadas
  • CoreWeave (cloud de GPU): levantou US$ 421 milhões, valuation de US$ 2,5 bilhões
  • Lightmatter (desenvolvedora de chips ópticos): captou US$ 308 milhões em duas rodadas, valuation de US$ 1,2 bilhão
  • Sigma Computing (plataforma de analytics em nuvem): levantou US$ 340 milhões, valuation de US$ 1,1 bilhão
  • Inflection (desenvolvedora de modelos fundacionais): levantou US$ 1,3 bilhão, valuation de US$ 4 bilhões
  • Mistral (desenvolvedora de modelos fundacionais): captou US$ 528 milhões em duas rodadas, valuation de US$ 2 bilhões
  • Cohere (desenvolvedora de modelos fundacionais): levantou US$ 270 milhões, valuation de US$ 2 bilhões
  • Runway (desenvolvedora de modelos generativos de vídeo): levantou US$ 191 milhões, valuation de US$ 1,5 bilhão
  • Synthesia (plataforma de geração de vídeo para empresas): levantou US$ 90 milhões, valuation de US$ 1 bilhão
  • Hugging Face (plataforma open source de ML): levantou US$ 235 milhões, valuation de US$ 4,5 bilhões
  • Poolside (desenvolvedora de modelos fundacionais para programação): levantou US$ 126 milhões
  • Modular (plataforma de desenvolvimento de IA): levantou US$ 100 milhões, valuation de US$ 600 milhões
  • Imbue (desenvolvedora de agentes de IA): levantou US$ 212 milhões
  • Databricks (solução de dados/analytics/IA): levantou US$ 684 milhões, valuation de US$ 43,2 bilhões
  • Aleph Alpha (desenvolvedora de modelos fundacionais): levantou US$ 486 milhões
  • AI21 Labs (desenvolvedora de modelos fundacionais): levantou US$ 208 milhões, valuation de US$ 1,4 bilhão
  • Together (cloud de IA generativa): captou US$ 208,5 milhões em duas rodadas, valuation de US$ 1,25 bilhão
  • VAST Data (plataforma de dados para deep learning): levantou US$ 118 milhões, valuation de US$ 9,1 bilhões
  • Shield AI (piloto de IA para aeroespacial/defesa): levantou US$ 500 milhões, valuation de US$ 2,8 bilhões
  • 01.ai (desenvolvedora de modelos fundacionais): levantou US$ 200 milhões, valuation de US$ 1 bilhão
  • Hadrian (fabricação de componentes para aeroespacial/defesa): levantou US$ 117 milhões
  • Sierra AI (chatbot de IA para atendimento ao cliente): captou US$ 110 milhões em duas rodadas
  • Glean (busca corporativa com IA): levantou US$ 200 milhões, valuation de US$ 2,2 bilhões
  • Lambda Labs (cloud de GPU): levantou US$ 320 milhões, valuation de US$ 1,5 bilhão
  • Magic (desenvolvedora de modelos fundacionais para programação): levantou US$ 117 milhões, valuation de US$ 500 milhões

M&A, transações privadas

• Desde o MAD de 2023, o mercado de M&A tem estado relativamente quieto
• Muitas empresas tradicionais de software parecem mais focadas em suas próprias ações e nos negócios em geral do que em M&A
• Em especial, o ambiente antitruste mais rígido também vem pesando sobre potenciais adquirentes
• Os fundos de private equity (PE) vêm se movimentando de forma relativamente ativa, buscando oportunidades baratas em um mercado deteriorado
• As transações de destaque que apareceram no MAD foram as seguintes (em ordem de valor):
  • Broadcom (fabricante de semicondutores), aquisição da VMWare (empresa de cloud), US$ 69B
  • Cisco (infraestrutura de rede/segurança), aquisição da Splunk (monitoramento/observabilidade), US$ 28B
  • Qualtrics (gestão de CX), fechamento de capital por Silver Lake/CPP, US$ 12,5B
  • Coupa (plataforma de gestão de gastos), fechamento de capital pela Thoma Bravo, US$ 8B
  • New Relic (monitoramento/observabilidade), aquisição por Francisco Partners/TPG, US$ 6,5B
  • Alteryx (plataforma de analytics), fechamento de capital por Clearlake/Insight, US$ 4,4B
  • Salesloft (orquestração de receita), aquisição pela Vista Equity, US$ 2,3B
    • A Vista também adquiriu a Drift, empresa de chatbot de IA para experiência do cliente
  • Databricks (data lakehouse), aquisição da MosaicML (plataforma de desenvolvimento de IA), US$ 1,3B
    • Também fez pequenas aquisições, como Arcion e Okera
  • Thoughtspot (plataforma de analytics), aquisição da Mode Analytics (BI), US$ 200M
  • Snowflake (data warehouse), aquisição da Neeva (motor de busca com IA), US$ 150M
  • DigitalOcean (cloud), aquisição da Paperspace (desenvolvimento de IA), US$ 111M
  • NVIDIA (chip de IA), aquisição da OmniML (otimização de IA na borda)
• A aquisição da Inflection AI pela MS também foi um caso peculiar
• Se 2024 será o ano do M&A em IA dependerá do momentum do mercado
• Nos segmentos inferiores do mercado, muitas startups promissoras de IA receberam investimento nos últimos 1-2 anos. Nos ciclos anteriores de boom da IA, após o investimento inicial houve muitos acquihires por valores altos em relação ao desempenho. Talentos em IA continuam escassos
• Nos segmentos superiores do mercado, a convergência entre plataformas líderes de dados e plataformas de IA vem ganhando força, mas os preços não devem ser nada modestos

IPO

• A IA também foi um tema quente no mercado acionário. As ações das “Magnificent 7” (NVIDIA, Meta, Amazon, MS, Alphabet, Apple e Tesla) subiram mais de 49% em 2023 e lideraram a alta geral da bolsa
• No entanto, ainda há muito poucos papéis puramente de IA. Os poucos que existem seguem negociando com prêmio (as ações da Palantir subiram 167% em 2023)
• Isso parece ser uma boa notícia para várias startups candidatas a IPO ligadas à IA. Lideradas pela Databricks, empresas de porte considerável como Celonis, Scale AI, Dataiku e Fivetran estão se preparando para abrir capital
• Também é um tema interessante observar qual posição OpenAI e Anthropic adotarão em relação a uma listagem
• Enquanto isso, o mercado de IPO em 2023 foi muito fraco. Entre as empresas relacionadas ao MAD, apenas poucas conseguiram abrir capital:
  • Klaviyo (automação de marketing): abriu capital em 09/2023, valuation de US$ 9,2B
  • Reddit (licenciamento de conteúdo para empresas de IA): abriu capital em 03/2024, valuation de US$ 6,4B
  • Astera Labs (semicondutores para IA/cloud): abriu capital em 03/2024, valuation de US$ 5,5B

Conclusão

• Estamos vivendo um momento muito especial. Estamos no início de uma mudança de paradigma.
• É hora de experimentar e tentar coisas novas. Estamos apenas começando

[xguru]

The 2020 Data & AI Landscape
Mapa do setor de dados/ML/AI de 2021 e as tendências mais recentes