A lição amarga de um fundador de IA (Bitter Lesson)

• Resumo em um único texto da série de quatro artigos do fundador da startup de AI Safety Andon Labs (YC w24), Lukas Petersson
  • Historicamente, abordagens gerais sempre venceram no campo da IA
  • Hoje, fundadores de aplicações de IA estão repetindo os erros que pesquisadores de IA cometeram no passado
  • Modelos de IA melhores viabilizarão aplicações de IA de propósito geral e, ao mesmo tempo, reduzirão o valor agregado do software relacionado a modelos de IA
• Capítulo 1: a história se repete
• Capítulo 2: sem vantagem competitiva
• Capítulo 3: rastros da história
• Capítulo 4: você é um mago

---

Capítulo 1: a história se repete (History Repeats Itself)

tl;dr:

• Os avanços recentes em IA tornaram possíveis novos produtos para resolver diversos problemas
• Porém, a maioria dos produtos opera dentro das capacidades limitadas dos modelos atuais e não aproveita a verdadeira força da IA: a flexibilidade
• A história da IA mostra repetidamente que abordagens gerais sempre vencem. Richard Sutton enfatiza isso em "The Bitter Lesson"
• Os fundadores de IA de hoje tendem a repetir os mesmos erros que pesquisadores de IA cometeram no passado

Resumo do ensaio de Richard Sutton: The Bitter Lesson. (tradução em coreano)

• Ele apresenta as seguintes lições:
  • Pesquisadores de IA tentam incorporar conhecimento ao agente
  • Isso funciona no curto prazo e traz satisfação
  • No longo prazo, o progresso estagna e pode até ser prejudicado
  • No fim, os avanços acontecem por meio da escalada de capacidade computacional baseada na abordagem oposta
• Ele alerta que esse padrão foi observado repetidamente na pesquisa em IA e ainda não terminou

Produtos de IA e The Bitter Lesson

• Produtos de IA geralmente são compostos por um modelo de IA e o software ao seu redor
• Há duas formas de melhorar o desempenho:
  1. trabalho de engenharia para restringir o software e reduzir erros
  2. esperar até que modelos melhores sejam lançados
• À medida que os modelos evoluem, o valor do trabalho de engenharia diminui
• A queda no valor de prompt engineering após o lançamento de novos modelos da OpenAI mostra isso

Tipos de restrição e produtos de IA

• Os elementos de restrição em produtos de IA podem ser classificados em dois tipos:
  • Especificidade: software focado em um problema específico (solução vertical)
  • Autonomia: capacidade de a IA executar tarefas por conta própria
• Com base nisso, é possível classificar produtos de IA por especificidade (Vertical vs. Horizontal) e autonomia (Workflow vs. Agent)
  • Vertical Workflow
    • Sistema que opera em uma sequência fixa para resolver um problema específico
    • Harvey é um exemplo representativo: um sistema de workflow projetado para lidar com problemas de escopo estreito, como tarefas jurídicas específicas
  • Vertical Agent
    • Sistema que atua de forma autônoma em uma área de trabalho específica, tomando decisões por conta própria durante o processo
    • Devin é um exemplo representativo: executa tarefas repetitivas com ferramentas e dados limitados, ajustando etapas conforme necessário
  • Horizontal Workflow
    • Sistema de workflow geral capaz de resolver diferentes problemas
    • ChatGPT é um exemplo representativo: responde a vários tipos de entrada seguindo procedimentos predefinidos, mas sem autonomia completa
  • Horizontal Agent
    • Sistema totalmente autônomo capaz de lidar com diversos problemas
    • Claude computer-use é um exemplo representativo: usa o software padrão de uma empresa para executar tarefas conforme as instruções do usuário e resolver problemas de forma semelhante à humana

A conexão entre Vertical Workflow e The Bitter Lesson

• A maior parte dos produtos apresentados no Demo Day se encaixa no formato Vertical Workflow
  • A confiabilidade dos modelos atuais ainda não é suficiente, o que dificulta outras abordagens
  • Há uma tendência de limitar até problemas complexos a Vertical Workflow para obter desempenho aceitável
• É possível melhorar essas soluções com trabalho de engenharia, mas há limites
  • Para problemas que os modelos atuais não conseguem resolver, esperar por modelos mais avançados é uma estratégia melhor
  • Observação de Leopold Aschenbrenner: o tempo de espera por modelos melhores pode ser menor do que o tempo gasto em trabalho de engenharia

A relação entre The Bitter Lesson e os produtos de IA atuais

• Pesquisadores de IA desenvolveram soluções baseadas em conhecimento para obter “desempenho aceitável”, mas no fim soluções gerais com mais recursos computacionais as superaram
• A forma atual de desenvolver produtos de IA é semelhante a esse padrão

As quatro observações de Bitter Lesson e sua aplicação aos tipos de restrição

As quatro principais observações mencionadas em Bitter Lesson também aparecem com clareza nas restrições de autonomia e especificidade dos produtos de IA.
Elas podem ser explicadas da seguinte forma para cada tipo de restrição:

1. Primeira observação: pesquisadores de IA tentam incorporar conhecimento ao agente

• Restrição de autonomia:
  • Desenvolvedores experimentam agentes autônomos, mas a confiabilidade ainda é baixa
  • Em vez disso, fazem hardcode das etapas da tarefa em forma de workflow para que o sistema siga o mesmo procedimento que eles próprios usariam para resolver o problema
• Restrição de especificidade:
  • Desenvolvedores tentam criar um sistema geral de análise de documentos, mas esbarram em problemas de confiabilidade
  • Em vez disso, focam em tipos específicos de documento, como demonstrações financeiras, e fazem hardcode de métricas concretas e regras de validação

2. Segunda observação: isso funciona no curto prazo e traz satisfação aos pesquisadores

• Restrição de autonomia:
  • Fazer hardcode do workflow aumenta a estabilidade
• Restrição de especificidade:
  • Especializar o sistema para lidar apenas com um conjunto estreito de documentos e métricas melhora a precisão

3. Terceira observação: no longo prazo, o progresso estagna e pode até ser atrapalhado

• Restrição de autonomia:
  • Workflows hardcoded não conseguem lidar com situações novas, o que leva a resultados imprecisos
• Restrição de especificidade:
  • Um sistema que só trata problemas específicos não consegue lidar com tarefas relacionadas, como documentos mesclados ou análise de teleconferências de resultados
  • Isso exige um sistema especializado separado para cada tarefa

4. Quarta observação: os avanços vêm da escalada de recursos computacionais

• Restrição de autonomia:

  • Novos modelos encontram dinamicamente a abordagem adequada, corrigem erros quando necessário e tornam possíveis agentes autônomos confiáveis

• Restrição de especificidade:

  • Novos modelos conseguem compreender de forma abrangente todos os documentos de negócios e extrair informações relevantes, tornando sistemas especializados desnecessários

• Em problemas que exigem autonomia, produtos mais autônomos apresentam melhor desempenho

• Ao lidar com espaços de entrada amplos e complexos, produtos menos especializados entregam resultados melhores

Encerramento: startups de IA e The Bitter Lesson

• Este texto é o primeiro de uma série de quatro partes que explora o papel das startups em IA, destacando o padrão histórico em que modelos de IA apoiados em conhecimento de domínio são continuamente substituídos por modelos baseados em capacidade computacional
• Os produtos de IA de hoje se parecem de forma surpreendente com esse padrão
• Desenvolver software para compensar as limitações dos modelos atuais é uma estratégia com alta chance de fracasso, especialmente quando os modelos evoluem rapidamente
• Observação de Jarred, parceiro da YC: os apps LLM de workflow vertical da primeira geração estão sendo substituídos pela próxima geração de modelos GPT
• Conselho de Sam Altman: é importante construir startups que não temam o lançamento de modelos melhores, mas que possam esperá-los com otimismo
• Muitos fundadores da camada de aplicações de IA ficam animados esperando o lançamento de novos modelos, mas isso pode ser um sinal perigoso
  • Se modelos melhores forem lançados, é grande a chance de a vantagem competitiva atual encolher
  • Esse risco fica ainda mais claro do ponto de vista de desempenho do produto, especialmente quando ele consegue resolver problemas mais difíceis com mais eficiência
• No próximo texto, será explorada outra dimensão, a adoção de mercado, e discutido por que melhor desempenho não garante necessariamente sucesso comercial

---

Capítulo 2: sem vantagem competitiva (No Powers)

tl;dr:

• Na história da IA, houve muitos casos em que abordagens que tentavam compensar as limitações do modelo com conhecimento de domínio acabaram sendo superadas por abordagens mais generalizadas apoiadas em recursos computacionais
• A IA vertical (vertical AI) entra primeiro no mercado ao elevar a precisão por meio da definição prévia de fluxos de trabalho específicos para compensar as limitações dos modelos atuais
• A IA horizontal (horizontal AI) usa modelos de propósito geral como o ChatGPT e continua evoluindo; à medida que os modelos melhoram, tende a apresentar desempenho superior em várias áreas
• No longo prazo, a IA horizontal pode levar vantagem por ter desempenho e flexibilidade maiores do que a IA vertical, que opera com várias restrições

Dificuldade do problema e curva de desempenho

• A Figura 1 mostra um exemplo simples em que a IA vertical entra primeiro no mercado, mas a IA horizontal, com modelos melhores, acaba superando seu desempenho
• Quando a dificuldade do problema é alta (Figura 2), a IA vertical nem sequer consegue atingir um desempenho suficiente, e a solução só se torna possível quando a IA horizontal evolui
• Neste momento, os problemas aos quais a IA vertical pode ser aplicada são relativamente “problemas de baixa dificuldade”; nessa categoria, a IA vertical pode aproveitar o efeito de pioneirismo, mas sua competitividade de longo prazo é incerta

O conceito de “colaborador remoto” oferecido pela IA horizontal

• No futuro, a IA horizontal pode evoluir para uma forma semelhante à de um trabalhador remoto, recebendo um computador e contas de acesso e sendo capaz de encontrar e usar por conta própria os dados necessários
• UIs como a do ChatGPT, com as quais muitos usuários já estão familiarizados, podem ser fortalecidas gradualmente, criando condições para adoção rápida nas empresas
• Como a IA horizontal incorpora imediatamente diversas capacidades sempre que o modelo melhora, é mais fácil para ela manter vantagem competitiva do que para a IA vertical

Caso anterior: a experiência com o AcademicGPT

• Na época do GPT-3.5, foi lançado o AcademicGPT para contornar o limite de entradas longas, mas quando o GPT-4 passou a oferecer entradas longas nativamente, a solução existente rapidamente se tornou obsoleta
• Como disse Jared, parceiro da YC, “os aplicativos da primeira geração de LLM foram em sua maioria superados pela geração seguinte de modelos”
• Mesmo a IA vertical que oferece vários recursos ao mesmo tempo corre o risco de passar pelo mesmo processo quando o desempenho dos modelos evolui

Análise das 7 Powers de Helmer

• Esta seção examina, por meio das 7 vantagens competitivas de Hamilton Helmer (Switching Costs, Counter-Positioning, Scale Economies, Network Economies, Brand Power, Process Power, Cornered Resource), se a IA vertical pode competir com a IA horizontal

• Switching Cost (custo de troca)

  • Mesmo que os usuários já estejam acostumados com a UI ou o fluxo de trabalho de uma solução específica de IA vertical, a IA horizontal pode ser aplicada de forma simples, “como ao contratar um novo funcionário”, por meio de onboarding
  • Como já cresce o número de empresas que adotaram soluções de IA horizontal como o ChatGPT, é possível que o processo de transição não seja difícil
  • Em termos de preço, a IA horizontal também pode integrar várias soluções verticais, o que sugere potencial de redução de custos

• Counter Positioning (reposicionamento contrário)

  • A IA vertical pode oferecer valor sob medida como solução especializada em um mercado específico, mas, à medida que os modelos melhoram, é possível que a IA horizontal passe a mostrar desempenho melhor de forma geral
  • Sempre que adota um novo modelo, a IA vertical enfrenta o dilema de perder sua diferenciação por causa das “restrições” existentes ou, ao remover essas restrições, acabar se tornando parecida com um modelo horizontal

• Scale Economy (economia de escala)

  • Assim como no SaaS, a IA vertical também pode reduzir custos com escala, mas a IA horizontal tem a vantagem de poder diluir custos ao integrar vários campos
  • Ao aplicar a diversos usos modelos horizontais desenvolvidos com grandes investimentos em P&D, é possível acelerar ainda mais a redução de custos

• Network Economy (efeito de rede)

  • Tanto a IA vertical quanto a horizontal podem melhorar com base em dados de usuários, mas a IA horizontal tem a grande vantagem de obter feedback de um grupo muito mais amplo de usuários e, assim, elevar o desempenho geral do modelo
  • Como o modelo melhora como um todo com dados acumulados em várias áreas, ele pode evoluir numa velocidade difícil de acompanhar para a IA vertical

• Brand Power (força de marca)

  • Força de marca é uma vantagem difícil de obter na fase inicial de uma startup pequena
  • Empresas como OpenAI e Google, que já têm grande influência de marca, são exceções, mas a maioria das startups de IA vertical dificilmente poderá usar a marca como trunfo

• Process Power (força de processo)

  • A força de processo também é uma vantagem obtida por grandes empresas por meio de sistemas operacionais refinados ao longo de muito tempo
  • Na fase inicial de uma startup, isso praticamente não se aplica

• Cornered Resource (recurso exclusivo)

  • Um recurso exclusivo só se torna uma grande vantagem competitiva quando apenas uma empresa detém determinado dado ou recurso, e esse recurso é indispensável naquele setor
  • Muitas startups de IA alegam ter “dados exclusivos”, mas, na prática, muitas vezes esses dados não são totalmente exclusivos ou o modelo consegue aprender suficientemente bem mesmo sem eles
  • Excepcionalmente, empresas que garantirem recursos realmente exclusivos podem manter competitividade apesar do avanço da IA horizontal

Encerramento

• No fim, mesmo em cenários em que a IA vertical aproveita o efeito de pioneirismo, se a IA horizontal alcançar desempenho superior, a maioria das IAs verticais terá dificuldade para se sustentar
• Entre as 7 Powers de Helmer, a IA vertical só tende a ganhar tração de longo prazo quando assegura um verdadeiro Cornered Resource
• Como no caso do AcademicGPT, que entrou em rápido declínio após o lançamento do GPT-4, até mesmo a IA vertical reforçada com várias funções pode acabar seguindo trajetória semelhante quando os modelos melhorarem
• No próximo capítulo (Capítulo 3), o autor pretende prever quando e como a IA horizontal no formato de “colaborador remoto” se tornará realidade, e examinar em detalhe os obstáculos técnicos, regulatórios, de confiança e econômicos que podem impedir isso

---

Capítulo 3: Uma nota de rodapé na história (A Footnote in History)

• O CEO da Anthropic divulgou uma entrevista em que explica o conceito de “colaborador virtual (virtual collaborator)”
• Isso é semelhante ao conceito que o autor desta série chama de “produto de IA horizontal (horizontal AI product)”
• Espera-se que a OpenAI anuncie em breve o “Operator”, e benchmarks vazados indicam desempenho muito superior ao do Claude (no benchmark OSWorld, Claude ficou em 22% e Operator em 38%)
• Esse ganho de desempenho está dentro do intervalo esperado, e o autor mantém a mesma previsão feita três meses antes
• No capítulo anterior, foi explicado por que aplicações de IA vertical têm dificuldade para manter competitividade
  • A diferença de desempenho em relação a soluções gerais de IA está diminuindo
  • Quando produtos de IA horizontal se tornam competitivos, produtos de IA vertical quase não têm como se defender
• A pergunta importante: “Quando ocorrerá a transição da IA vertical para a IA horizontal?”
  • Se for daqui a 10 anos, pode fazer sentido desenvolver IA vertical agora
  • Mas, se a mudança vier em 1 a 2 anos, será necessária uma estratégia completamente diferente
• A transição de IA vertical para IA horizontal não acontecerá ao mesmo tempo em todos os setores
• No entanto, como o mercado em que a maioria das startups de IA atua hoje é relativamente simples, espera-se que a mudança aconteça em períodos semelhantes nos principais setores
• A projeção é que, até 2027, produtos de IA vertical terão dificuldade para sobreviver na maioria dos setores
• “Adoção (adoption)” significa qual produto os usuários escolhem ao resolver um novo problema ou ao mudar a forma de resolver um problema existente
• Os itens a seguir não são considerados
  • Participação de mercado: contratos existentes e outros fatores podem influenciar
  • Tamanho absoluto: embora a IA expanda o mercado ao abrir novos casos de uso, esta análise considera apenas mudanças relativas
  • Valor potencial: avalia-se qual solução as pessoas escolhem no momento atual, sem incluir a possibilidade de melhorias futuras
• Por exemplo, se o fluxo muda de A para B, isso significa que antes A era preferido, mas agora B é visto como a melhor opção

Conceitos de IA vertical/horizontal e workflow/agentes

• "IA vertical" e "IA horizontal" se referem a tipos diferentes de produtos de IA
• "Workflow" e "agent" também são conceitos usados para classificar produtos de IA
• Neste documento, os conceitos de workflow e agent dentro dos produtos de IA horizontais são explicados em conjunto
  • É provável que a mesma empresa desenvolva um produto que inclua as duas funcionalidades
  • Por exemplo, o ChatGPT pode adicionar recursos de agent mantendo ao mesmo tempo sua base atual de workflow

Passado

• (1) O período pré-ChatGPT era uma situação em que o software tradicional dominava o mercado
• (2) Com o lançamento do ChatGPT, surgiu o primeiro produto horizontal de IA realmente significativo
• (3) Após o surgimento da API do GPT-3.5, começaram a ser lançados, pela primeira vez, vários produtos verticais especializados em IA

Este ano

• (4) Há a expectativa de que, em 2025, o desempenho dos modelos se estabilize a ponto de poder ser usado como agents práticos
  • Até agora, os agents vinham sendo usados apenas em projetos de pesquisa ou testes limitados, mas a perspectiva é de adoção em escala real
  • Produtos verticais de workflow já existentes também podem migrar para o formato de agents de IA
• (5) Mesmo com o surgimento dos agents, a expectativa é que os workflows verticais continuem em posição dominante até 2025
  • Isso se deve tanto ao hábito dos usuários de evitarem trocar ferramentas já adotadas quanto à inércia dos desenvolvedores em continuar aproveitando os ativos de engenharia acumulados até agora
• (6) A expectativa é que os principais produtos horizontais de IA, como ChatGPT, Claude e Gemini, ampliem suas funcionalidades e passem a cobrir mais áreas verticais
  • Há a possibilidade de que funcionalidades especializadas que hoje existem em produtos verticais de IA sejam rapidamente absorvidas por produtos horizontais de IA
  • O ChatGPT já começou a se integrar com aplicativos de desktop

Futuro próximo

• (7) A diferença de capacidade entre agents horizontais de IA e trabalhadores humanos deve diminuir gradualmente
  • Ainda que não cheguem ao nível de especialistas, a expectativa é que obtenham desempenho suficiente para automatizar boa parte do trabalho administrativo geral
  • Com isso, a razão de existir de soluções verticais de IA pode diminuir
  • Exemplos concretos:
    • Usuários individuais podem passar a delegar tarefas complexas, como declaração de imposto de renda ou preparação para emprego, a agents horizontais
    • Empresas podem substituir ou reduzir uma parcela significativa da força de trabalho júnior
    • Pode surgir um caso de uma única pessoa criando valor de nível unicórnio
• (8) A expectativa é que o software tradicional continue tendo valor como interface que os agents podem utilizar
  • Pode ser mais eficiente em termos de custo para os agents aproveitarem softwares existentes do que recriar diretamente todo software do zero
  • A análise é de que, em especial, softwares genéricos e horizontais têm maior probabilidade de sobreviver
• (9) A expectativa é que os produtos verticais de IA que sobreviverem sejam apenas uma minoria com recursos defensivos mencionados no capítulo 2, como dados proprietários e patentes
  • Também existe a possibilidade de vender esses recursos por alto valor

2024 - o progresso parou?

• A avaliação é de que a alegação de que houve estagnação dos modelos de IA em 2024 tem pouca força
  • Mesmo antes do lançamento do o3, o desempenho de modelos como GPT-4, Claude e modelos Open Weight vinha melhorando continuamente em várias áreas
  • Houve uma tendência de avanço radical nas pontuações de benchmarks como ARC-AGI e GPQA Diamond
• A Anthropic evoluiu rapidamente de Claude 2 para Claude 3 e depois para Claude 3.5 Sonnet, e surgiu a especulação de que vinha usando internamente upgrades não divulgados
• Por isso, a visão de que 2024 foi um ano em que a melhoria dos modelos de IA parou é considerada pouco fundamentada

Obstáculos potenciais

• Model Stagnation: embora 2024 não tenha mostrado estagnação, existe a preocupação de que o avanço dos modelos possa parar depois de 2025

  • Ilya Sutskever mencionou na NeurIPS os limites do pre-training tradicional, mas ao mesmo tempo sugeriu que existem outros caminhos, como Test-time compute
  • Os principais institutos e empresas de pesquisa em IA continuam investindo ativamente em enormes recursos computacionais

• Regulation: regulações inesperadas podem surgir e restringir o avanço da IA

• Trust Barriers: há preocupações dos usuários sobre estabilidade e confiabilidade dos agents

  • Com base no precedente histórico de que o medo da automação de elevadores acabou desaparecendo, há a expectativa de que isso também seja superado com o tempo

• AI Labs Hesitate: pode haver casos em que Anthropic ou OpenAI mantenham certas interações de usuários deliberadamente limitadas, mesmo tendo capacidade técnica real

• Expensive Inference: inferência de alto desempenho pode exigir custos muito altos, como no caso do o3

  • Mas o custo de inferência vem caindo com o tempo, e também é bastante provável que os agents não apliquem o mesmo nível de inferência de alto desempenho a todas as tarefas

• Considerando em conjunto os fatores acima, prever o avanço tecnológico continua difícil, mas a perspectiva é de que startups de IA vertical não tenham muito tempo

• É apresentado um gráfico de valor em forma de U, segundo o qual o valor baseado em engenharia existente pode desaparecer rapidamente à medida que os modelos de IA se sofisticam

Observações

• A explicação é que a expansão de Test-time compute mostrada no o3 já era um resultado previsto por pesquisas anteriores
• Assim como demonstrado no caso do AlphaZero, há o insight de que, em ambientes verificáveis, o desempenho pode atingir rapidamente níveis sobre-humanos
• A análise é que o o3 se destaca em áreas como programação e matemática, mas em outras, como escrita criativa, não mostra grande diferença em relação ao o1
• A implicação para fundadores é que, em vez de desenvolver uma nova IA vertical, pode ser mais vantajoso seguir em outra direção, lidando com recursos mais amplos ou mais proprietários

---

Capítulo 4: Você é um mago (You’re a wizard Harry)

O fundador é como um mago

• Tem a capacidade de criar algo a partir do nada
• Começar uma nova empresa exige pensamento original
• Frase de Paul Graham (PG): "As ideias precisam ser não apenas corretas, mas também originais. Você não deve começar algo que todos concordam ser uma boa ideia."
• Muitos fundadores estão ficando cegos pelo impressionante crescimento de receita de seus pares e perdendo a capacidade de pensar de forma independente
• Quando todos fazem a mesma coisa e isso parece estar funcionando, fica difícil pensar com independência
• O autor tenta pensar de forma independente e espera que essas ideias soem ruins

O futuro dos agents horizontais e a concorrência

• A expectativa é que os agents horizontais que poderão dominar a camada de aplicações de IA sejam desenvolvidos por laboratórios de IA
• O desempenho dos modelos pode mudar e levar a um único vencedor, mas uma competição intensa entre Anthropic, OpenAI, GDM e xAI parece mais provável
• Isso provoca, no curto prazo, uma competição de preços que beneficia o usuário final
• Mesmo que, no curto prazo, os laboratórios de IA não capturem muito valor financeiro, a expectativa é que ainda ocupem uma posição extremamente forte
• Portanto, é razoável que fundadores pensem suas startups no contexto da relação com esses laboratórios

Abordagem como cliente

• Como discutido no capítulo 2, é possível construir produtos verticais de IA usando APIs de LLM, mas isso só é viável quando há acesso exclusivo a recursos importantes
• Para construir um produto vertical de IA, é preciso dedicar um enorme esforço para encontrar esses recursos

Abordagem como concorrente

• Se agentes horizontais são o futuro, por que não construí-los? São analisadas três abordagens
• Tomar o mercado primeiro
  • Os laboratórios de IA só competirão seriamente com workflows verticais quando os modelos forem confiáveis o bastante para permitir a criação de agentes horizontais com esforço mínimo de engenharia
  • Em teoria, é possível aplicar esforço de engenharia a modelos anteriores e entrar no mercado antes dos laboratórios, mas isso não é garantido
  • Leopold Aschenbrenner acredita que esse esforço pode levar mais tempo do que construir o próximo modelo: "Pode demorar até que trabalhadores remotos consigam automatizar muitas tarefas, e, nesse meio-tempo, os modelos intermediários talvez ainda não tenham sido totalmente explorados e integrados"
  • Independentemente de quem entrar primeiro no mercado, espera-se que essa vantagem não dure muito
• Wrapper de API de agente
  • Um colega de apartamento perguntou: "Não existe ninguém no mundo com habilidade de UI?"
  • Isso sugere dois problemas: 1) os custos de API tornam a margem insustentável, 2) os laboratórios não divulgam seus melhores modelos (o ChatGPT usa modelos proprietários para busca, navegação na web etc.)
  • Hoje, ninguém usa a API do GPT para competir diretamente com o ChatGPT, e espera-se que esse padrão se repita também com agentes horizontais
• Modelos open source
  • Modelos open source podem oferecer outro caminho
  • O Perplexity mostra que é possível competir com os laboratórios em produtos horizontais
  • No entanto, modelos open source vão bem em benchmarks simples, mas têm dificuldade em tarefas complexas de agentes
  • O Llama-3.1-405b fica bem atrás dos modelos de ponta no MLE-bench
  • A Andon Labs é especializada nesse tipo de benchmark, e isso é compatível com o que observamos
  • O Deepseek V3 e o R1 foram lançados com resultados muito impressionantes, mas o mesmo vale para o o3, e há relatos de que a Anthropic tem versões ainda melhores internamente
  • Modelos open source podem se aproximar do estado da arte, mas é duvidoso que o superem
  • Ainda assim, isso pode ser suficiente para competir no jogo horizontal
  • Os custos de inferência ainda serão muito altos

Abordagem como fornecedor

• Se os laboratórios de IA realmente se tornarem tão poderosos, ser fornecedor deles será uma excelente posição
• Eles certamente precisarão de muito poder computacional e energia
• Se a análise do Leo estiver correta, talvez precisem de mais do que o esperado
• Essa oportunidade exige conhecimento especializado da indústria, o que pode não ser algo natural para fundadores hoje posicionados na camada de aplicações de IA
• Mas lembre-se de que você é um mago
• Os laboratórios também compram dados de terceiros
• A Scale AI está provando que isso é um ótimo negócio
• No entanto, é questionável se os laboratórios de IA conseguirão fazer o "autoaprendizado" funcionar
• O AlphaZero foi treinado sem dados externos, e isso é visto como o santo graal dos futuros modelos de IA
• Se eles não conseguirem fazer o autoaprendizado funcionar, a alternativa será combinar vários conjuntos de dados de pós-treinamento
• Nesse mundo, vender dados provavelmente será uma boa escolha

Abordagem como contribuidor do ecossistema

• Por fim, outra relação a considerar com os laboratórios de IA é tornar-se um contribuidor do ecossistema
• Isso significa construir ferramentas que ajudem agentes horizontais, mas o importante é que elas precisam ser separadas do próprio agente
• Como mostrado no capítulo 3, softwares tradicionais continuarão existindo porque os agentes precisam de interfaces eficientes
• Os agentes podem escrever seu próprio software, mas os custos de inferência podem tornar isso impraticável
• No entanto, players do ecossistema correm o risco de se comoditizar, e a maior parte do valor pode ser capturada em outro lugar
• Isso vai depender de quão alto for o custo de inferência (inference cost) para executar agentes horizontais
  • Se o custo de inferência for baixo, será mais comum que agentes gerem por conta própria o software de que precisam

E se os agentes horizontais de IA demorarem a chegar?

• O cronograma (timeline) é muito importante
  • Se os agentes horizontais só se tornarem competitivos daqui a 10 anos, construir workflows verticais de IA agora será uma excelente ideia
  • Esse tempo é suficiente para construir uma empresa grande e sólida
• Mas, considerando a velocidade de avanço dos laboratórios de IA, 10 anos é irrealista
  • Então, e daqui a 4 anos?
  • Quatro anos podem não ser suficientes para criar uma grande empresa, mas oferecem oportunidades suficientes de iteração
  • Começar na camada de aplicações de IA pode até ser vantajoso para depois migrar para fornecedor ou player do ecossistema

Epílogo: foi um erro da YC (Y Combinator)?

• À primeira vista, pode parecer que a YC está fazendo a escolha errada
  • Atualmente, a YC concentra a maior parte de seus investimentos em produtos verticais de IA
  • Mas há uma grande chance de esse mercado desaparecer em breve
• No entanto, o autor não tem expertise suficiente em VC (venture capital) para tirar uma conclusão definitiva
  • Ele está apenas compartilhando sua confusão e reflexão
• A YC afirma adotar uma estratégia de investimento relativamente neutra
  • Investe em pessoas inteligentes e espera que elas encontrem as melhores ideias
  • Essa é uma ótima estratégia, e centenas de fundadores talvez consigam prever o futuro melhor do que 14 parceiros da YC
• Mas o autor se preocupa com a possibilidade de o sistema de batches da YC induzir um pensamento de curto prazo
  • Na YC, é muito importante definir metas semanais, e avançar em grupo é bom para a motivação
  • Mas, se não houver diversidade suficiente de ideias, isso pode induzir um pensamento de curto prazo
  • Criando um produto vertical de IA, é possível chegar rapidamente a US$ 5.000 de MRR
  • Mas esse é realmente um jeito de construir um negócio sustentável?
  • Se o autor estivesse numa batch da YC agora, provavelmente sentiria a tentação de criar um produto vertical de IA
  • Além disso, o podcast da YC, "The Light Cone", traz bastante conteúdo defendendo produtos verticais de IA

[zkdlfrlwl2]

A distinção e a explicação entre Vertical AI e Horizontal AI são interessantes.