A cauda longa da IA

xguru · 2024-11-18T10:21:01+09:00

Desde o lançamento do ChatGPT em novembro de 2022, startups de IA têm recebido atenção intensa dos investidores, e no 2º trimestre de 2024, 49% de todo o capital de venture foi investido em startups de IA e machine learning. Embora provedores de modelos como a OpenAI e empresas nativas de IA como Perplexity e Jasper estejam em destaque, na prática há ainda mais empresas "não IA" sendo impactadas pela IA. Chamamos o impacto da IA sobre essas empresas não IA de "a cauda longa da IA", e essa cauda longa pode ser dividida em quatro categorias, de acordo com a forma como as empresas integram IA: Construção de modelos independentes Uso de modelos existentes, como o GPT-4 da OpenAI Construção com base em modelos open source, como o Llama da Meta Uso de ferramentas de IA pré-desenvolvidas, como o ChatGPT Construir modelos próprios e independentes é a forma mais intensiva em recursos de usar IA, e em geral é adequada para empresas que possuem grandes fontes de dados originais e recursos humanos e financeiros suficientes para treinar novos modelos. Modelos closed source como os GPTs da OpenAI e o Claude da Anthropic foram treinados com bilhões a trilhões de parâmetros e podem gerar resultados precisos e detalhados em diversas áreas, de programação a atendimento ao cliente, além de serem facilmente acessíveis via API. Modelos open source como os da Mistral e o Llama da Meta são ferramentas poderosas; o Llama 3.1 foi treinado com 405 bilhões de parâmetros. Ao contrário dos modelos closed source, os modelos open source oferecem transparência e flexibilidade, e seus pesos podem ser ajustados para atender necessidades específicas dos clientes. Ferramentas de IA de terceiros como o ChatGPT são as mais fáceis de integrar, e os clientes podem usar ferramentas prontas sem precisar construir ou ajustar modelos internamente. As estratégias de IA variam de empresa para empresa, mas as companhias bem-sucedidas estão usando IA para complementar seus negócios existentes, imitando casos de sucesso do setor e mantendo flexibilidade à medida que a tecnologia de IA evolui. A lei de potência do hype em IA Distribuição normal vs. lei de potência: a distribuição normal é comum no cotidiano, em fenômenos como QI, notas de prova e pressão arterial, com os dados concentrados em torno da média. Já muitos fenômenos do mundo são definidos por leis de potência, nas quais um pequeno número de casos extremos determina a maior parte dos resultados. Por exemplo, mais da metade da alta do índice S&P 500 em 2023 veio de apenas 7 ações, que representavam só 1,4% do índice. Em venture capital, um pequeno número de investimentos bem-sucedidos também responde pela maior parte do retorno de um fundo. Ex.: o fundador da Union Square Ventures, Fred Wilson, comentou que "um único investimento pode gerar o retorno de todo o fundo". Lei de potência no setor de IA: assim como o capital se concentrou nas empresas de internet durante a bolha pontocom, em 2024 o setor de IA mostra um hype semelhante. Na turma de verão de 2024 da Y Combinator, 75% estavam desenvolvendo produtos relacionados a IA. 49% dos investimentos de venture capital no 2º trimestre de 2024 se concentraram em startups de IA e machine learning (contra 29% no 2º trimestre de 2022). No início de 2020, a avaliação mediana de empresas iniciais de IA, SaaS e fintech era de $25M, $27M e $28M, respectivamente; em 2024, esses valores subiram para $70M, $46M e $50M. A OpenAI estava no vermelho, mas levantou novo capital em outubro de 2024 com valuation de $157B (39 vezes a receita). Limites das startups nativas de IA: com o surgimento da IA generativa e dos LLMs, a IA vem se tornando o produto central das empresas. No entanto, enquanto as companhias nativas de IA monopolizam a atenção dos investidores, empresas não IA também são afetadas pelo avanço da tecnologia. A maioria das empresas não é, em essência, uma empresa de IA, mas os avanços da IA terão grande impacto sobre seus modelos de negócio. Da cauda longa da internet à cauda longa da IA: após a bolha pontocom, empresas não ligadas à internet que se adaptaram à tendência tiveram grande sucesso. Por exemplo, o Walmart foi fundado em 1962, mas sua receita de e-commerce chegou a $73B em 2023, um crescimento de 5x em relação a 2017. Hoje, está surgindo a "cauda longa da IA", que inclui empresas não IA de diversos setores, como fintech, SaaS, saúde, e-commerce e logística. O amplo impacto da IA: do uso de ferramentas de IA prontas à integração de IA em fluxos de trabalho internos, empresas de vários setores estão usando ou tentando usar IA. Assim como a internet impactou empresas não ligadas à internet, a IA também terá efeitos amplos que não se limitam às empresas que constroem modelos de IA. Definindo a cauda longa da IA Empresas de IA concentram a maior parte da atenção e dos investimentos em IA e podem ser divididas em duas categorias: Empresas de modelos: empresas como OpenAI, Anthropic e Mistral, que desenvolvem e oferecem LLMs (grandes modelos de linguagem) proprietários ou open source aos usuários. Empresas nativas de IA: empresas como Perplexity e Jasper, que oferecem produtos e serviços com base em modelos de IA. Na primeira categoria, o próprio modelo é o produto. Na segunda, o modelo de IA forma o núcleo da funcionalidade, e sem ele a própria empresa não existiria. Por exemplo, o CEO da Baseten, Tuhin Srivastava, explicou que "sem o modelo, a empresa nativa de IA não existe". No entanto, a maioria das empresas, como Bloomberg, Walmart e Canva, não se encaixa em nenhuma dessas duas categorias. Elas pertencem a uma categoria mais ampla chamada "cauda longa da IA". Principais perguntas da cauda longa Como o avanço da tecnologia de IA afetará modelos de negócio que já existiam antes do lançamento do ChatGPT? Como funcionários de diferentes setores, de analistas em consultorias a engenheiros de software em empresas de tecnologia, estão usando IA e como a usarão no futuro? Como as empresas estão se posicionando no mercado de IA? Estão construindo seus próprios modelos ou usando ferramentas desenvolvidas externamente? Casos de uso de IA em diferentes empresas Ex.: Ramp (plataforma de gestão de despesas) e Atlassian (empresa australiana de SaaS) adicionaram IA generativa sobre seus dados e fluxos de trabalho existentes. A Klarna (fintech sueca) investiu em IA para melhorar a eficiência operacional interna, e seu chatbot de IA mostrou desempenho suficiente para substituir 700 funcionários em tempo integral de atendimento ao cliente. A PwC fechou em maio de 2024 um acordo para fornecer recursos do ChatGPT Enterprise a 100 mil funcionários. Além disso, em uma pesquisa da Câmara de Comércio dos EUA de 2024, 98% das pequenas e médias empresas responderam que usam ferramentas de IA. Comparação entre passado e presente Assim como, após o boom da internet, empresas não ligadas à internet tiveram grande sucesso ao adotar o e-commerce, a "cauda longa da IA" fará com que empresas não IA de vários setores sejam impactadas pela IA. Assim como a internet teve um impacto amplo sobre empresas não ligadas à internet, a IA também afetará a economia de forma mais ampla, e não apenas as empresas que constroem modelos de IA. As quatro camadas da cauda longa da IA Construção interna de modelos de IA independentes: empresas que constroem seus próprios modelos de IA usando conjuntos de dados proprietários. Uso de modelos closed source: empresas que usam modelos closed source da OpenAI, Anthropic etc. Uso de modelos open source: empresas que usam modelos da Llama, Mistral e Hugging Face. Integração de ferramentas de IA pré-construídas: empresas que integram ferramentas de IA já desenvolvidas em seus fluxos de trabalho. Essas quatro camadas não são fixas, e empresas que usam IA de diferentes maneiras podem se enquadrar em várias delas. Com a rápida evolução da tecnologia de IA, a forma como as empresas a utilizam também continua mudando. Camada 1: Construção de modelos próprios A estratégia que mais consome recursos: na cauda longa da IA, a estratégia mais cara é construir um modelo independente do zero. Essa estratégia é adequada para empresas que (1) têm muito capital e (2) possuem conjuntos de dados proprietários valiosos. Ex.: segundo Sam Altman, o custo de treinamento do GPT-4 chegou a $100M. Embora modelos próprios tenham custo elevado, para empresas com conjuntos de dados proprietários eles oferecem (A) resultados mais granulares e personalizados para a empresa, (B) controle total sobre o modelo e os pesos, e (C) potencial de redução de custos em comparação com modelos closed-source. Bloomberg A Bloomberg é uma empresa de dados financeiros e mídia com sede em Nova York, com receita anual superior a $12B. O principal produto da empresa, o Bloomberg Terminal, responde por cerca de 2/3 da receita total. Na Bloomberg, entre mais de 8 mil engenheiros, mais de 350 pertencem à equipe de engenharia de IA, e a empresa publica diversos artigos de pesquisa em IA todos os anos. Em março de 2023, a Bloomberg anunciou o BloombergGPT, um LLM especializado em finanças. O modelo foi composto por 50B parâmetros no total e treinado com a combinação de 345B de conjuntos de dados públicos e um conjunto de 363B de documentos financeiros coletados ao longo de 40 anos. O custo de treinamento é estimado entre $2.7M e mais de $10M. Em janeiro de 2024, a Bloomberg introduziu no Terminal um recurso de resumos gerados por IA, que se acredita usar um modelo próprio, treinado com a ajuda de analistas internos. Replit A Replit é um ambiente de desenvolvimento integrado (IDE) baseado na web que oferece colaboração, autocomplete de código e recursos de depuração. Os recursos de IA da Replit são oferecidos por meio de uma combinação de modelos desenvolvidos internamente, fine-tuning de modelos open source e modelos closed-source da OpenAI e da Anthropic. Em abril e outubro de 2023, a Replit lançou seus próprios modelos de conclusão de código e os disponibilizou no Hugging Face. Em abril de 2024, lançou um recurso de depuração automática por meio de fine-tuning de modelos open source. Em setembro de 2024, lançou um programador de pair programming automático baseado em seu próprio modelo de 7B parâmetros, mas alguns usuários demonstraram insatisfação com os recursos iniciais. Canva O Canva é uma plataforma de design para web sediada na Austrália, avaliada em $49B em outubro de 2024. Em outubro de 2023, o Canva lançou o Magic Studio, um estúdio de design com IA generativa. Esse estúdio constrói um “modelo proprietário” usando como dados de treinamento conteúdos gerados pelos usuários. Os dados dos usuários não são usados sem permissão, e os usuários participantes recebem compensação. Em julho de 2024, o Canva adquiriu a plataforma de geração de imagens Leonardo.Ai e planeja integrá-la ao Magic Studio. Walmart O Walmart vem construindo ferramentas de IA voltadas ao cliente desde 2018 e, em junho de 2024, migrou todos os recursos de IA generativa para modelos próprios. Em outubro de 2024, o Walmart anunciou o Wallaby, um LLM especializado em varejo. O modelo foi treinado com dados do Walmart e gera respostas naturais relacionadas ao atendimento ao cliente. O Walmart usa IA para melhorar chatbots de suporte ao cliente, organização de catálogos de produtos e experiências de compra em realidade aumentada. Além disso, também oferece experiências de compras virtuais em plataformas online como o Roblox. O Walmart prefere modelos próprios, mas ainda planeja usar modelos de terceiros dependendo do caso de uso. Camada 2: Uso de modelos closed-source existentes Em vez de construir um modelo de forma independente, as empresas podem desenvolver suas próprias soluções acessando por API modelos de IA closed-source da OpenAI, Anthropic e outras. Modelos closed-source podem fornecer saídas precisas em diversos campos, sendo úteis para tarefas gerais como transcrição, atendimento ao cliente e extração de dados. Os modelos GPT da OpenAI e Claude da Anthropic oferecem saídas de altíssima qualidade. Graças à facilidade de acesso via API, essa é considerada uma das formas mais fáceis de adotar IA do ponto de vista de engenharia. Recentemente, também foram lançados modelos menores, como o GPT-4o mini, para oferecer eficiência de custo e desempenho rápido de inferência. Zapier A Zapier é uma plataforma de automação de workflows, fundada em 2011 e avaliada em $5B em agosto de 2023. A empresa usa modelos da OpenAI para melhorar processos internos de automação, como recursos de geração e resumo de transcrições de reuniões e resumo de artigos da web. A ferramenta Copilot da Zapier permite criar workflows usando prompts em linguagem natural. Klarna A Klarna é uma fintech sueca que oferece o serviço “Buy Now, Pay Later” e anunciou, em setembro de 2024, que substituiria Salesforce e Workday por IA. Com um assistente de IA de atendimento ao cliente que usa modelos da OpenAI, ela processa 2/3 das solicitações de suporte ao cliente, substituindo a carga de trabalho de 700 funcionários em tempo integral. Internamente, usa o assistente de IA Kiki para ajudar os funcionários a responder mais de 2 mil perguntas por dia. Ramp A Ramp é uma startup fintech B2B fundada em 2019, que oferece diversos produtos de software financeiro. Ela usa os modelos GPT-4 e Claude para automatizar análise de dados de contratos, classificação de transações e redação de observações em recibos. Internamente, também usa IA para fornecer resumos de chamadas com clientes e recursos de perguntas e respostas, integrados ao Slack. Atlassian A Atlassian é uma empresa avaliada em $50B que oferece softwares de colaboração em equipe como Jira, Trello e Confluence. Em abril de 2023, anunciou um recurso de IA generativa chamado Atlassian Intelligence. Esse recurso usa uma combinação de modelos da OpenAI e modelos próprios da Atlassian. O assistente de IA Rovo reforça a busca no Jira e automatiza geração de conteúdo de marketing e coleta de feedback por meio de agentes no-code. Canva O Canva usa modelos proprietários no Magic Studio, mas também utiliza modelos closed-source em alguns recursos. Ex.: o editor de escrita com modelos da OpenAI gera conteúdo combinando o tom de amostras enviadas. O Canva também opera um variado marketplace de apps de IA, incluindo apps como o DALL-E da OpenAI e o Imagen do Google. Camada 3: desenvolvimento com base em modelos de código aberto Em vez de construir modelos de forma independente ou usar modelos de código fechado como o GPT-4o da OpenAI, muitas empresas estão aproveitando modelos de código aberto como Meta Llama, Mistral e Hugging Face para criar suas próprias ferramentas. Modelos de código aberto oferecem vantagens como alto nível de personalização e transparência, maior privacidade de dados e redução de custos. Segundo o relatório de 2024 da Databricks, 76% das empresas que usam LLMs estão escolhendo código aberto. Modelos de código aberto não exigem taxas de licença separadas e podem ser hospedados internamente, evitando altos custos de nuvem em larga escala. Para clientes corporativos, a redução de problemas de direitos autorais e do risco de vazamento de dados também é um fator importante. VMware A VMware é uma fornecedora de software de virtualização e foi adquirida pela Broadcom em 2023 por $69B. A VMware trabalhou com a Hugging Face para desenvolver um assistente de programação baseado em código aberto chamado SafeCoder. Foi utilizado o modelo StarCoder, de 15.5B parâmetros, que coleta dados de projetos de código aberto para minimizar problemas de direitos autorais. Clientes corporativos podem fazer fine-tuning do modelo StarCoder com seu próprio código, o que ajuda em tarefas internas que exigem conhecimento de domínio. Mathpresso A Mathpresso é uma empresa sul-coreana de edtech cujo principal aplicativo, QANDA, permite que estudantes enviem capturas de tela de problemas de matemática para receber soluções automaticamente. Em 2023, desenvolveu o MathGPT, um LLM especializado em matemática, usando o modelo Llama 2 da Meta. O MathGPT usou como dados de treinamento as soluções matemáticas do QANDA e ofereceu maior personalização e precisão adaptada ao ambiente educacional do que modelos comerciais existentes. O MathGPT superou o Microsoft Tora nos benchmarks MATH e GSM8K e ficou em 1º lugar entre os modelos com até 13B parâmetros. Brave O Brave é um navegador web com foco em privacidade, que oferece recursos como bloqueio de anúncios e bloqueio de rastreadores. Em agosto de 2023, lançou o assistente de IA Leo, usando os modelos de código aberto Llama 2 da Meta e Mixtral 8x7B da Mistral. A Brave não armazena dados dos usuários e usa modelos hospedados internamente para proteger a privacidade dos usuários. Também oferece suporte ao modelo Claude da Anthropic, mas a configuração padrão usa modelos de código aberto. Replit Além de seu modelo personalizado de autocompletar código, a Replit lançou em abril de 2024 o agente de IA Code Repair, após fazer fine-tuning de um modelo de 7B parâmetros da Hugging Face. Usuários pagos podem alternar entre os modelos de código aberto da Replit e outros modelos de código fechado, oferecendo soluções adaptadas a diferentes necessidades dos clientes. Camada 4: uso de ferramentas de IA pré-construídas Casos em que empresas não constroem seus próprios modelos de IA, mas compram e usam ferramentas prontas de IA generativa. A principal vantagem das ferramentas externas é a redução de custos. Comprar uma ferramenta específica é mais barato do que treinar ou fazer fine-tuning de um modelo. Três principais motivos pelos quais as empresas escolhem ferramentas externas de IA: Quando precisam de ferramentas para pesquisa de conhecimento geral e brainstorming - Ex.: segundo pesquisa da BCG, ferramentas de IA generativa aumentam a produtividade no trabalho e são especialmente úteis quando falta conhecimento técnico especializado. Quando precisam de ferramentas de negócios genéricas (ex.: chatbots de atendimento ao cliente) - Obter benefícios rapidamente com ferramentas de terceiros é mais econômico do que construir um modelo próprio. Quando já existem ferramentas personalizadas para setores específicos - Ex.: a Kira, ferramenta de revisão de contratos jurídicos, é usada por muitos escritórios de advocacia. Boston Consulting Group (BCG) A BCG é uma consultoria global com 32K funcionários no mundo e receita de $12.3B. Em 2023, a BCG realizou experimentos internos com o ChatGPT da OpenAI, e a IA generativa mostrou melhora de 40% no desempenho em tarefas criativas. Ex.: melhora no desempenho em resolução criativa de problemas, como gerar ideias para novos produtos de calçados e criar slogans de marketing. Em 2024, a BCG implementou o ChatGPT Enterprise para todos os funcionários, reconhecendo a alta utilidade das ferramentas de IA. Dollar Shave Club A Dollar Shave Club é uma fornecedora de produtos de barbear adquirida pela Unilever por $1B e posteriormente vendida para a Nexus Capital Management. Em vez de um chatbot próprio, automatizou o atendimento ao cliente com o Answer Bot da Zendesk. O Answer Bot foi treinado com dados de 12M interações com clientes e responde a perguntas simples dos clientes em poucos segundos. Resolve 4.5K tickets por mês, o que representa 10% do volume total de tickets da empresa. Law Firms (escritórios de advocacia) A revisão de contratos jurídicos está repleta de termos e cláusulas complexos. Muitos escritórios de advocacia não têm recursos para desenvolver ferramentas internas de IA e por isso usam ferramentas externas de IA como a Kira. Ex.: grandes escritórios como Skadden, Hogan Lovells e Paul, Weiss usam a Kira para reduzir o tempo de revisão contratual em até 60%. A Kira consegue analisar rapidamente mais de 1K cláusulas e pontos de dados comuns, sendo usada em due diligence de M&A, revisão de contratos de empréstimo etc. Três formas de empresas da long tail usarem IA As empresas da Long Tail estão aplicando IA generativa de várias formas, como a Bloomberg, que desenvolve ferramentas personalizadas para profissionais do setor financeiro, e os consultores da BCG, que usam o ChatGPT como ferramenta de produtividade. Os modelos que impulsionam essas ferramentas também variam, indo do modelo de geração de imagens da Canva à integração com GPT da Ramp. Ao observar os padrões das empresas que aplicam IA, três grandes tendências se destacam, apesar da velocidade atual do avanço tecnológico. Usar IA como ferramenta para complementar o negócio existente A maioria das empresas da Long Tail já oferece produtos e serviços bem estabelecidos, e a IA cumpre o papel de complementar e aprimorar isso. Exemplo: a Replit já era bem-sucedida antes de lançar ferramentas de IA, e a IA é usada para melhorar o produto como uma extensão de suas ferramentas existentes para desenvolvedores. O Leo AI da Brave é uma ferramenta de IA generativa que expande a política do navegador de priorizar a privacidade. A Brave trabalha há 8 anos para proteger a privacidade, e o Leo é uma ferramenta que dá continuidade a esse princípio. O Walmart tem como pilares preços baixos e uma política de devolução flexível, e a IA exerce apenas um papel de apoio, sem substituir a estratégia central. Em resumo, as empresas adotam IA internamente para aumentar a eficiência dos processos, mas a experiência central do usuário vem em primeiro lugar. Copiar estratégias de IA do mesmo setor As empresas adotam rapidamente estratégias de IA bem-sucedidas para manter a competitividade. Exemplo: a BCG usou o ChatGPT para melhorar significativamente o desempenho em tarefas criativas e de programação. Esses resultados podem pressionar outras consultorias, como McKinsey e Bain, a adotar ferramentas de IA semelhantes. Brave e VMware oferecem produtos principais diferentes, mas ambas valorizam a privacidade de dados e, por isso, escolhem modelos de código aberto. Se as empresas líderes garantirem vantagem competitiva contínua com a adoção de IA, espera-se que outras empresas também precisem adotar estratégias semelhantes. Manter uma estratégia de IA flexível As formas de usar IA não são fixas, e as empresas podem aplicar ou ajustar diferentes estratégias. Exemplo: a OpenAI inicialmente construiu modelos cada vez maiores, mas em 2024 lançou modelos menores e mais eficientes como o GPT-4o mini. Isso oferece redução de custos e maior velocidade de inferência. O CTO da Ramp mencionou que o GPT-4o mini atende a 90% dos requisitos, avaliando que modelos menores podem ser mais eficientes do que modelos grandes. Tuhin Srivastava, CEO da Baseten, destaca que as empresas tendem a querer construir seus próprios modelos, mas isso pode consumir recursos e tempo em excesso. Conselho de Srivastava: a estratégia importante é "usar primeiro ferramentas comprovadas e substituí-las gradualmente por modelos próprios". As empresas precisam estar em posição de responder com flexibilidade quando novas tecnologias de IA forem lançadas, para poder aproveitar rapidamente tecnologias aprimoradas. Objetivo final das empresas da Long Tail No momento, o interesse e o entusiasmo em torno da IA estão concentrados em modelos e empresas AI-native, mas os casos de uso de IA também estão se tornando cada vez mais visíveis entre as empresas não AI-native. Essas empresas estão adotando várias soluções de IA, de chatbots de atendimento ao cliente a experiências de compra com realidade aumentada. Considerando a velocidade da inovação em IA, a forma mais fácil de entender como as empresas da Long Tail usam IA é classificá-las nas quatro camadas apresentadas neste deep dive: modelos personalizados, modelos de código fechado, modelos de código aberto e ferramentas de IA de terceiros Os diversos exemplos abordados neste deep dive mostram como as empresas construíram e adotaram diferentes ferramentas de IA, ajudando os leitores a entender como abordar a integração de IA em suas próprias organizações. As quatro camadas apresentam, cada uma, trade-offs relacionados a tempo de aprendizado, custo, customização, privacidade e qualidade, mas como o custo de mudança entre modelos é baixo, os clientes podem ter flexibilidade para experimentar diferentes soluções. O objetivo final das empresas da Long Tail não é se tornar uma empresa de IA, mas usar ferramentas de IA para complementar e acelerar seu negócio principal.

(research.contrary.com)

12 pontos por xguru 2024-11-18 | Ainda não há comentários. | Compartilhar no WhatsApp

Desde o lançamento do ChatGPT em novembro de 2022, startups de IA têm recebido atenção intensa dos investidores, e no 2º trimestre de 2024, 49% de todo o capital de venture foi investido em startups de IA e machine learning.
Embora provedores de modelos como a OpenAI e empresas nativas de IA como Perplexity e Jasper estejam em destaque, na prática há ainda mais empresas "não IA" sendo impactadas pela IA.
Chamamos o impacto da IA sobre essas empresas não IA de "a cauda longa da IA", e essa cauda longa pode ser dividida em quatro categorias, de acordo com a forma como as empresas integram IA:
- Construção de modelos independentes
- Uso de modelos existentes, como o GPT-4 da OpenAI
- Construção com base em modelos open source, como o Llama da Meta
- Uso de ferramentas de IA pré-desenvolvidas, como o ChatGPT
Construir modelos próprios e independentes é a forma mais intensiva em recursos de usar IA, e em geral é adequada para empresas que possuem grandes fontes de dados originais e recursos humanos e financeiros suficientes para treinar novos modelos.
Modelos closed source como os GPTs da OpenAI e o Claude da Anthropic foram treinados com bilhões a trilhões de parâmetros e podem gerar resultados precisos e detalhados em diversas áreas, de programação a atendimento ao cliente, além de serem facilmente acessíveis via API.
Modelos open source como os da Mistral e o Llama da Meta são ferramentas poderosas; o Llama 3.1 foi treinado com 405 bilhões de parâmetros. Ao contrário dos modelos closed source, os modelos open source oferecem transparência e flexibilidade, e seus pesos podem ser ajustados para atender necessidades específicas dos clientes.
Ferramentas de IA de terceiros como o ChatGPT são as mais fáceis de integrar, e os clientes podem usar ferramentas prontas sem precisar construir ou ajustar modelos internamente.
As estratégias de IA variam de empresa para empresa, mas as companhias bem-sucedidas estão usando IA para complementar seus negócios existentes, imitando casos de sucesso do setor e mantendo flexibilidade à medida que a tecnologia de IA evolui.

A lei de potência do hype em IA

Distribuição normal vs. lei de potência: a distribuição normal é comum no cotidiano, em fenômenos como QI, notas de prova e pressão arterial, com os dados concentrados em torno da média. Já muitos fenômenos do mundo são definidos por leis de potência, nas quais um pequeno número de casos extremos determina a maior parte dos resultados.
- Por exemplo, mais da metade da alta do índice S&P 500 em 2023 veio de apenas 7 ações, que representavam só 1,4% do índice.
- Em venture capital, um pequeno número de investimentos bem-sucedidos também responde pela maior parte do retorno de um fundo. Ex.: o fundador da Union Square Ventures, Fred Wilson, comentou que "um único investimento pode gerar o retorno de todo o fundo".
Lei de potência no setor de IA: assim como o capital se concentrou nas empresas de internet durante a bolha pontocom, em 2024 o setor de IA mostra um hype semelhante.
- Na turma de verão de 2024 da Y Combinator, 75% estavam desenvolvendo produtos relacionados a IA.
- 49% dos investimentos de venture capital no 2º trimestre de 2024 se concentraram em startups de IA e machine learning (contra 29% no 2º trimestre de 2022).
- No início de 2020, a avaliação mediana de empresas iniciais de IA, SaaS e fintech era de $25M, $27M e $28M, respectivamente; em 2024, esses valores subiram para $70M, $46M e $50M.
- A OpenAI estava no vermelho, mas levantou novo capital em outubro de 2024 com valuation de $157B (39 vezes a receita).
Limites das startups nativas de IA: com o surgimento da IA generativa e dos LLMs, a IA vem se tornando o produto central das empresas. No entanto, enquanto as companhias nativas de IA monopolizam a atenção dos investidores, empresas não IA também são afetadas pelo avanço da tecnologia. A maioria das empresas não é, em essência, uma empresa de IA, mas os avanços da IA terão grande impacto sobre seus modelos de negócio.
Da cauda longa da internet à cauda longa da IA: após a bolha pontocom, empresas não ligadas à internet que se adaptaram à tendência tiveram grande sucesso. Por exemplo, o Walmart foi fundado em 1962, mas sua receita de e-commerce chegou a $73B em 2023, um crescimento de 5x em relação a 2017.
- Hoje, está surgindo a "cauda longa da IA", que inclui empresas não IA de diversos setores, como fintech, SaaS, saúde, e-commerce e logística.
O amplo impacto da IA: do uso de ferramentas de IA prontas à integração de IA em fluxos de trabalho internos, empresas de vários setores estão usando ou tentando usar IA. Assim como a internet impactou empresas não ligadas à internet, a IA também terá efeitos amplos que não se limitam às empresas que constroem modelos de IA.

Definindo a cauda longa da IA

Empresas de IA concentram a maior parte da atenção e dos investimentos em IA e podem ser divididas em duas categorias:
- Empresas de modelos: empresas como OpenAI, Anthropic e Mistral, que desenvolvem e oferecem LLMs (grandes modelos de linguagem) proprietários ou open source aos usuários.
- Empresas nativas de IA: empresas como Perplexity e Jasper, que oferecem produtos e serviços com base em modelos de IA.
Na primeira categoria, o próprio modelo é o produto. Na segunda, o modelo de IA forma o núcleo da funcionalidade, e sem ele a própria empresa não existiria. Por exemplo, o CEO da Baseten, Tuhin Srivastava, explicou que "sem o modelo, a empresa nativa de IA não existe".
No entanto, a maioria das empresas, como Bloomberg, Walmart e Canva, não se encaixa em nenhuma dessas duas categorias. Elas pertencem a uma categoria mais ampla chamada "cauda longa da IA".
Principais perguntas da cauda longa
- Como o avanço da tecnologia de IA afetará modelos de negócio que já existiam antes do lançamento do ChatGPT?
- Como funcionários de diferentes setores, de analistas em consultorias a engenheiros de software em empresas de tecnologia, estão usando IA e como a usarão no futuro?
- Como as empresas estão se posicionando no mercado de IA? Estão construindo seus próprios modelos ou usando ferramentas desenvolvidas externamente?
Casos de uso de IA em diferentes empresas
- Ex.: Ramp (plataforma de gestão de despesas) e Atlassian (empresa australiana de SaaS) adicionaram IA generativa sobre seus dados e fluxos de trabalho existentes.
- A Klarna (fintech sueca) investiu em IA para melhorar a eficiência operacional interna, e seu chatbot de IA mostrou desempenho suficiente para substituir 700 funcionários em tempo integral de atendimento ao cliente.
- A PwC fechou em maio de 2024 um acordo para fornecer recursos do ChatGPT Enterprise a 100 mil funcionários. Além disso, em uma pesquisa da Câmara de Comércio dos EUA de 2024, 98% das pequenas e médias empresas responderam que usam ferramentas de IA.
Comparação entre passado e presente
- Assim como, após o boom da internet, empresas não ligadas à internet tiveram grande sucesso ao adotar o e-commerce, a "cauda longa da IA" fará com que empresas não IA de vários setores sejam impactadas pela IA.
- Assim como a internet teve um impacto amplo sobre empresas não ligadas à internet, a IA também afetará a economia de forma mais ampla, e não apenas as empresas que constroem modelos de IA.
As quatro camadas da cauda longa da IA
- Construção interna de modelos de IA independentes: empresas que constroem seus próprios modelos de IA usando conjuntos de dados proprietários.
- Uso de modelos closed source: empresas que usam modelos closed source da OpenAI, Anthropic etc.
- Uso de modelos open source: empresas que usam modelos da Llama, Mistral e Hugging Face.
- Integração de ferramentas de IA pré-construídas: empresas que integram ferramentas de IA já desenvolvidas em seus fluxos de trabalho.
Essas quatro camadas não são fixas, e empresas que usam IA de diferentes maneiras podem se enquadrar em várias delas. Com a rápida evolução da tecnologia de IA, a forma como as empresas a utilizam também continua mudando.

Camada 1: Construção de modelos próprios

A estratégia que mais consome recursos: na cauda longa da IA, a estratégia mais cara é construir um modelo independente do zero. Essa estratégia é adequada para empresas que (1) têm muito capital e (2) possuem conjuntos de dados proprietários valiosos.
- Ex.: segundo Sam Altman, o custo de treinamento do GPT-4 chegou a $100M.
- Embora modelos próprios tenham custo elevado, para empresas com conjuntos de dados proprietários eles oferecem (A) resultados mais granulares e personalizados para a empresa, (B) controle total sobre o modelo e os pesos, e (C) potencial de redução de custos em comparação com modelos closed-source.
Bloomberg
- A Bloomberg é uma empresa de dados financeiros e mídia com sede em Nova York, com receita anual superior a $12B. O principal produto da empresa, o Bloomberg Terminal, responde por cerca de 2/3 da receita total.
- Na Bloomberg, entre mais de 8 mil engenheiros, mais de 350 pertencem à equipe de engenharia de IA, e a empresa publica diversos artigos de pesquisa em IA todos os anos.
- Em março de 2023, a Bloomberg anunciou o BloombergGPT, um LLM especializado em finanças. O modelo foi composto por 50B parâmetros no total e treinado com a combinação de 345B de conjuntos de dados públicos e um conjunto de 363B de documentos financeiros coletados ao longo de 40 anos.
- O custo de treinamento é estimado entre $2.7M e mais de $10M.
- Em janeiro de 2024, a Bloomberg introduziu no Terminal um recurso de resumos gerados por IA, que se acredita usar um modelo próprio, treinado com a ajuda de analistas internos.
Replit
- A Replit é um ambiente de desenvolvimento integrado (IDE) baseado na web que oferece colaboração, autocomplete de código e recursos de depuração.
- Os recursos de IA da Replit são oferecidos por meio de uma combinação de modelos desenvolvidos internamente, fine-tuning de modelos open source e modelos closed-source da OpenAI e da Anthropic.
  - Em abril e outubro de 2023, a Replit lançou seus próprios modelos de conclusão de código e os disponibilizou no Hugging Face.
  - Em abril de 2024, lançou um recurso de depuração automática por meio de fine-tuning de modelos open source.
  - Em setembro de 2024, lançou um programador de pair programming automático baseado em seu próprio modelo de 7B parâmetros, mas alguns usuários demonstraram insatisfação com os recursos iniciais.
Canva
- O Canva é uma plataforma de design para web sediada na Austrália, avaliada em $49B em outubro de 2024.
- Em outubro de 2023, o Canva lançou o Magic Studio, um estúdio de design com IA generativa. Esse estúdio constrói um “modelo proprietário” usando como dados de treinamento conteúdos gerados pelos usuários.
  - Os dados dos usuários não são usados sem permissão, e os usuários participantes recebem compensação.
- Em julho de 2024, o Canva adquiriu a plataforma de geração de imagens Leonardo.Ai e planeja integrá-la ao Magic Studio.
Walmart
- O Walmart vem construindo ferramentas de IA voltadas ao cliente desde 2018 e, em junho de 2024, migrou todos os recursos de IA generativa para modelos próprios.
  - Em outubro de 2024, o Walmart anunciou o Wallaby, um LLM especializado em varejo. O modelo foi treinado com dados do Walmart e gera respostas naturais relacionadas ao atendimento ao cliente.
- O Walmart usa IA para melhorar chatbots de suporte ao cliente, organização de catálogos de produtos e experiências de compra em realidade aumentada. Além disso, também oferece experiências de compras virtuais em plataformas online como o Roblox.
- O Walmart prefere modelos próprios, mas ainda planeja usar modelos de terceiros dependendo do caso de uso.

Camada 2: Uso de modelos closed-source existentes

Em vez de construir um modelo de forma independente, as empresas podem desenvolver suas próprias soluções acessando por API modelos de IA closed-source da OpenAI, Anthropic e outras.
Modelos closed-source podem fornecer saídas precisas em diversos campos, sendo úteis para tarefas gerais como transcrição, atendimento ao cliente e extração de dados.
- Os modelos GPT da OpenAI e Claude da Anthropic oferecem saídas de altíssima qualidade.
Graças à facilidade de acesso via API, essa é considerada uma das formas mais fáceis de adotar IA do ponto de vista de engenharia.
Recentemente, também foram lançados modelos menores, como o GPT-4o mini, para oferecer eficiência de custo e desempenho rápido de inferência.
Zapier
- A Zapier é uma plataforma de automação de workflows, fundada em 2011 e avaliada em $5B em agosto de 2023.
- A empresa usa modelos da OpenAI para melhorar processos internos de automação, como recursos de geração e resumo de transcrições de reuniões e resumo de artigos da web.
- A ferramenta Copilot da Zapier permite criar workflows usando prompts em linguagem natural.
Klarna
- A Klarna é uma fintech sueca que oferece o serviço “Buy Now, Pay Later” e anunciou, em setembro de 2024, que substituiria Salesforce e Workday por IA.
- Com um assistente de IA de atendimento ao cliente que usa modelos da OpenAI, ela processa 2/3 das solicitações de suporte ao cliente, substituindo a carga de trabalho de 700 funcionários em tempo integral.
- Internamente, usa o assistente de IA Kiki para ajudar os funcionários a responder mais de 2 mil perguntas por dia.
Ramp
- A Ramp é uma startup fintech B2B fundada em 2019, que oferece diversos produtos de software financeiro.
- Ela usa os modelos GPT-4 e Claude para automatizar análise de dados de contratos, classificação de transações e redação de observações em recibos.
- Internamente, também usa IA para fornecer resumos de chamadas com clientes e recursos de perguntas e respostas, integrados ao Slack.
Atlassian
- A Atlassian é uma empresa avaliada em $50B que oferece softwares de colaboração em equipe como Jira, Trello e Confluence.
- Em abril de 2023, anunciou um recurso de IA generativa chamado Atlassian Intelligence.
- Esse recurso usa uma combinação de modelos da OpenAI e modelos próprios da Atlassian.
- O assistente de IA Rovo reforça a busca no Jira e automatiza geração de conteúdo de marketing e coleta de feedback por meio de agentes no-code.
Canva
- O Canva usa modelos proprietários no Magic Studio, mas também utiliza modelos closed-source em alguns recursos.
  - Ex.: o editor de escrita com modelos da OpenAI gera conteúdo combinando o tom de amostras enviadas.
- O Canva também opera um variado marketplace de apps de IA, incluindo apps como o DALL-E da OpenAI e o Imagen do Google.

Camada 3: desenvolvimento com base em modelos de código aberto

Em vez de construir modelos de forma independente ou usar modelos de código fechado como o GPT-4o da OpenAI, muitas empresas estão aproveitando modelos de código aberto como Meta Llama, Mistral e Hugging Face para criar suas próprias ferramentas.
Modelos de código aberto oferecem vantagens como alto nível de personalização e transparência, maior privacidade de dados e redução de custos.
- Segundo o relatório de 2024 da Databricks, 76% das empresas que usam LLMs estão escolhendo código aberto.
Modelos de código aberto não exigem taxas de licença separadas e podem ser hospedados internamente, evitando altos custos de nuvem em larga escala.
Para clientes corporativos, a redução de problemas de direitos autorais e do risco de vazamento de dados também é um fator importante.
VMware
- A VMware é uma fornecedora de software de virtualização e foi adquirida pela Broadcom em 2023 por $69B.
- A VMware trabalhou com a Hugging Face para desenvolver um assistente de programação baseado em código aberto chamado SafeCoder.
- Foi utilizado o modelo StarCoder, de 15.5B parâmetros, que coleta dados de projetos de código aberto para minimizar problemas de direitos autorais.
- Clientes corporativos podem fazer fine-tuning do modelo StarCoder com seu próprio código, o que ajuda em tarefas internas que exigem conhecimento de domínio.
Mathpresso
- A Mathpresso é uma empresa sul-coreana de edtech cujo principal aplicativo, QANDA, permite que estudantes enviem capturas de tela de problemas de matemática para receber soluções automaticamente.
- Em 2023, desenvolveu o MathGPT, um LLM especializado em matemática, usando o modelo Llama 2 da Meta.
- O MathGPT usou como dados de treinamento as soluções matemáticas do QANDA e ofereceu maior personalização e precisão adaptada ao ambiente educacional do que modelos comerciais existentes.
- O MathGPT superou o Microsoft Tora nos benchmarks MATH e GSM8K e ficou em 1º lugar entre os modelos com até 13B parâmetros.
Brave
- O Brave é um navegador web com foco em privacidade, que oferece recursos como bloqueio de anúncios e bloqueio de rastreadores.
- Em agosto de 2023, lançou o assistente de IA Leo, usando os modelos de código aberto Llama 2 da Meta e Mixtral 8x7B da Mistral.
- A Brave não armazena dados dos usuários e usa modelos hospedados internamente para proteger a privacidade dos usuários.
- Também oferece suporte ao modelo Claude da Anthropic, mas a configuração padrão usa modelos de código aberto.
Replit
- Além de seu modelo personalizado de autocompletar código, a Replit lançou em abril de 2024 o agente de IA Code Repair, após fazer fine-tuning de um modelo de 7B parâmetros da Hugging Face.
- Usuários pagos podem alternar entre os modelos de código aberto da Replit e outros modelos de código fechado, oferecendo soluções adaptadas a diferentes necessidades dos clientes.

Camada 4: uso de ferramentas de IA pré-construídas

Casos em que empresas não constroem seus próprios modelos de IA, mas compram e usam ferramentas prontas de IA generativa.
A principal vantagem das ferramentas externas é a redução de custos. Comprar uma ferramenta específica é mais barato do que treinar ou fazer fine-tuning de um modelo.
Três principais motivos pelos quais as empresas escolhem ferramentas externas de IA:
- Quando precisam de ferramentas para pesquisa de conhecimento geral e brainstorming
  - Ex.: segundo pesquisa da BCG, ferramentas de IA generativa aumentam a produtividade no trabalho e são especialmente úteis quando falta conhecimento técnico especializado.
- Quando precisam de ferramentas de negócios genéricas (ex.: chatbots de atendimento ao cliente)
  - Obter benefícios rapidamente com ferramentas de terceiros é mais econômico do que construir um modelo próprio.
- Quando já existem ferramentas personalizadas para setores específicos
  - Ex.: a Kira, ferramenta de revisão de contratos jurídicos, é usada por muitos escritórios de advocacia.
Boston Consulting Group (BCG)
- A BCG é uma consultoria global com 32K funcionários no mundo e receita de $12.3B.
- Em 2023, a BCG realizou experimentos internos com o ChatGPT da OpenAI, e a IA generativa mostrou melhora de 40% no desempenho em tarefas criativas.
- Ex.: melhora no desempenho em resolução criativa de problemas, como gerar ideias para novos produtos de calçados e criar slogans de marketing.
- Em 2024, a BCG implementou o ChatGPT Enterprise para todos os funcionários, reconhecendo a alta utilidade das ferramentas de IA.
Dollar Shave Club
- A Dollar Shave Club é uma fornecedora de produtos de barbear adquirida pela Unilever por $1B e posteriormente vendida para a Nexus Capital Management.
- Em vez de um chatbot próprio, automatizou o atendimento ao cliente com o Answer Bot da Zendesk.
  - O Answer Bot foi treinado com dados de 12M interações com clientes e responde a perguntas simples dos clientes em poucos segundos.
- Resolve 4.5K tickets por mês, o que representa 10% do volume total de tickets da empresa.
Law Firms (escritórios de advocacia)
- A revisão de contratos jurídicos está repleta de termos e cláusulas complexos.
- Muitos escritórios de advocacia não têm recursos para desenvolver ferramentas internas de IA e por isso usam ferramentas externas de IA como a Kira.
  - Ex.: grandes escritórios como Skadden, Hogan Lovells e Paul, Weiss usam a Kira para reduzir o tempo de revisão contratual em até 60%.
- A Kira consegue analisar rapidamente mais de 1K cláusulas e pontos de dados comuns, sendo usada em due diligence de M&A, revisão de contratos de empréstimo etc.

Três formas de empresas da long tail usarem IA

As empresas da Long Tail estão aplicando IA generativa de várias formas, como a Bloomberg, que desenvolve ferramentas personalizadas para profissionais do setor financeiro, e os consultores da BCG, que usam o ChatGPT como ferramenta de produtividade.
Os modelos que impulsionam essas ferramentas também variam, indo do modelo de geração de imagens da Canva à integração com GPT da Ramp.
Ao observar os padrões das empresas que aplicam IA, três grandes tendências se destacam, apesar da velocidade atual do avanço tecnológico.
- Usar IA como ferramenta para complementar o negócio existente
  - A maioria das empresas da Long Tail já oferece produtos e serviços bem estabelecidos, e a IA cumpre o papel de complementar e aprimorar isso.
    - Exemplo: a Replit já era bem-sucedida antes de lançar ferramentas de IA, e a IA é usada para melhorar o produto como uma extensão de suas ferramentas existentes para desenvolvedores.
    - O Leo AI da Brave é uma ferramenta de IA generativa que expande a política do navegador de priorizar a privacidade. A Brave trabalha há 8 anos para proteger a privacidade, e o Leo é uma ferramenta que dá continuidade a esse princípio.
    - O Walmart tem como pilares preços baixos e uma política de devolução flexível, e a IA exerce apenas um papel de apoio, sem substituir a estratégia central.
  - Em resumo, as empresas adotam IA internamente para aumentar a eficiência dos processos, mas a experiência central do usuário vem em primeiro lugar.
- Copiar estratégias de IA do mesmo setor
  - As empresas adotam rapidamente estratégias de IA bem-sucedidas para manter a competitividade.
    - Exemplo: a BCG usou o ChatGPT para melhorar significativamente o desempenho em tarefas criativas e de programação. Esses resultados podem pressionar outras consultorias, como McKinsey e Bain, a adotar ferramentas de IA semelhantes.
    - Brave e VMware oferecem produtos principais diferentes, mas ambas valorizam a privacidade de dados e, por isso, escolhem modelos de código aberto.
  - Se as empresas líderes garantirem vantagem competitiva contínua com a adoção de IA, espera-se que outras empresas também precisem adotar estratégias semelhantes.
- Manter uma estratégia de IA flexível
  - As formas de usar IA não são fixas, e as empresas podem aplicar ou ajustar diferentes estratégias.
  - Exemplo: a OpenAI inicialmente construiu modelos cada vez maiores, mas em 2024 lançou modelos menores e mais eficientes como o GPT-4o mini. Isso oferece redução de custos e maior velocidade de inferência.
  - O CTO da Ramp mencionou que o GPT-4o mini atende a 90% dos requisitos, avaliando que modelos menores podem ser mais eficientes do que modelos grandes.
    - Tuhin Srivastava, CEO da Baseten, destaca que as empresas tendem a querer construir seus próprios modelos, mas isso pode consumir recursos e tempo em excesso.
    - Conselho de Srivastava: a estratégia importante é "usar primeiro ferramentas comprovadas e substituí-las gradualmente por modelos próprios".
    - As empresas precisam estar em posição de responder com flexibilidade quando novas tecnologias de IA forem lançadas, para poder aproveitar rapidamente tecnologias aprimoradas.

Objetivo final das empresas da Long Tail

No momento, o interesse e o entusiasmo em torno da IA estão concentrados em modelos e empresas AI-native, mas os casos de uso de IA também estão se tornando cada vez mais visíveis entre as empresas não AI-native.
- Essas empresas estão adotando várias soluções de IA, de chatbots de atendimento ao cliente a experiências de compra com realidade aumentada.
  - Considerando a velocidade da inovação em IA, a forma mais fácil de entender como as empresas da Long Tail usam IA é classificá-las nas quatro camadas apresentadas neste deep dive:
    - modelos personalizados, modelos de código fechado, modelos de código aberto e ferramentas de IA de terceiros
Os diversos exemplos abordados neste deep dive mostram como as empresas construíram e adotaram diferentes ferramentas de IA, ajudando os leitores a entender como abordar a integração de IA em suas próprias organizações.
- As quatro camadas apresentam, cada uma, trade-offs relacionados a tempo de aprendizado, custo, customização, privacidade e qualidade, mas como o custo de mudança entre modelos é baixo, os clientes podem ter flexibilidade para experimentar diferentes soluções.
O objetivo final das empresas da Long Tail não é se tornar uma empresa de IA, mas usar ferramentas de IA para complementar e acelerar seu negócio principal.