OpenAI desenvolve seu primeiro chip em parceria com Broadcom e TSMC e reduz planos de fundição

• A OpenAI está desenvolvendo um chip de inferência para IA e abandonando seu plano de rede de fundições
• A Broadcom está ajudando no design do chip da OpenAI e dando suporte para que ele seja fabricado pela TSMC
• A OpenAI está adicionando chips de IA da AMD para diversificar seu fornecimento de chips

Esforço interno de design de chips da OpenAI e uso de parcerias na indústria

• A OpenAI está avaliando várias opções para diversificar o fornecimento de chips e reduzir custos
• Por enquanto, a empresa pretende interromper seus ambiciosos planos de fundição e se concentrar em seus esforços internos de design de chips
• A estratégia da OpenAI mostra, assim como a de grandes concorrentes como Amazon, Meta, Google e Microsoft, como usar parcerias na indústria e abordagens internas e externas para garantir o fornecimento de chips e administrar custos
• A OpenAI é uma das maiores compradoras de chips, e sua decisão de desenvolver chips personalizados enquanto busca fornecimento de vários fabricantes pode ter amplo impacto no setor de tecnologia
• A Broadcom ajuda empresas como o Google a ajustar com precisão projetos de chips para fabricação e fornece componentes de design que ajudam a movimentar informações rapidamente dentro dos chips
• A OpenAI garantiu, por meio da Broadcom, capacidade de fabricação com a TSMC para produzir seu primeiro chip de design personalizado em 2026
• Atualmente, as GPUs da Nvidia detêm mais de 80% de participação de mercado
• No entanto, a escassez de oferta e o aumento dos custos estão levando grandes clientes como Microsoft, Meta e agora OpenAI a buscar alternativas internas ou externas
• A decisão da OpenAI de usar chips da AMD por meio do Azure da Microsoft mostra que o novo chip MI300X da AMD está tentando conquistar parte do mercado dominado pela Nvidia
• Treinar modelos de IA e operar serviços como o ChatGPT custa caro
• A OpenAI espera um prejuízo de US$ 5 bilhões sobre uma receita de US$ 3,7 bilhões neste ano
• Os custos de computação são a maior despesa da empresa, o que impulsiona seus esforços para otimizar a utilização e diversificar fornecedores

Opinião do GN⁺

• O esforço interno de design de chips da OpenAI e sua colaboração com vários fabricantes representam uma mudança importante no setor de IA. Isso pode criar novas alternativas capazes de desafiar o domínio da Nvidia e acelerar o avanço das tecnologias de IA
• No entanto, podem surgir preocupações relacionadas à estrutura de custos da OpenAI. Em um cenário em que o desenvolvimento de modelos de IA e a operação de serviços exigem gastos enormes, há dúvidas sobre a rentabilidade e a sustentabilidade de longo prazo
• Ao mesmo tempo, o surgimento de novos chips de IA, como o MI300X da AMD, deve estimular a concorrência no mercado e oferecer mais opções aos clientes. Isso pode contribuir para a popularização e a comercialização das tecnologias de IA
• Com o aumento da concorrência no mercado de chips para IA, espera-se que a inovação tecnológica acelere e que a demanda por chips de alto desempenho e baixo consumo de energia cresça. Com isso, a disputa por investimentos e talentos nas áreas de design e fabricação de chips também tende a ficar ainda mais acirrada
• Ao adotar chips de IA, as empresas precisam considerar de forma abrangente fatores como desempenho, custo, compatibilidade e escalabilidade. É importante escolher o chip mais adequado ao roadmap tecnológico de longo prazo e à estratégia de negócios

[GN⁺]

Opiniões do Hacker News

• Do ponto de vista de um ex-funcionário do Google, não é nada surpreendente. Continuo em contato com amigos que ainda estão no Google, e nos últimos meses aumentou bastante o número de engenheiros de hardware vindos do Google que a OpenAI tem contratado
  Só olhando os perfis de engenheiros de hardware da OpenAI no LinkedIn já dá para ver facilmente quantos vieram do Google. A equipe de TPU do Google é hoje apenas uma sombra do que já foi, então não me surpreenderia se os futuros TPUs do Google acabassem ficando piores que o novo chip da OpenAI
  O trabalho antigo nos TPUs do Google também dependia da ajuda da Broadcom: https://www.theregister.com/AMP/2023/09/22/google_broadcom_t...
  Como a Broadcom ajudou bem nos TPUs do Google, é muito natural que ex-Googlers levem esse relacionamento com fornecedor para a nova empresa

  • A BRCM está se tornando mais parecida com uma empresa de serviços que projeta ASICs para companhias que querem ASICs personalizados. Há muitas empresas assim, e não sei por que isso é notícia
    A BRCM, junto com a Marvell e outras, é líder em SerDes, e o IP da Synopsys e da Cadence também é muito usado por essas empresas de chips. Nenhuma empresa vai verticalizar completamente todo o IP, então não vejo motivo para alarde
  • Também é preciso considerar que o Google investiu muito tempo, dinheiro e capital humano nos TPUs e foi obtendo resultados lentamente. Empresas comprovadas em expansão em grande escala também já tentaram e falharam, como a Tesla
    Não é tão fácil quanto colocar doutores numa sala e mandar eles produzirem um LLM. Desenvolvimento de hardware é difícil, lento, leva muito tempo para validar e é extremamente caro

• Jensen vem dizendo que a demanda está “insana”, e também se ouvem rumores de yields baixos. Isso pode levar a problemas de oferta nos próximos meses ou anos
  Nenhuma empresa da Fortune 500 vai apostar todo o seu hardware e software de IA em uma única fonte. Diversificar e fugir de uma fonte única é uma escolha inteligente

  • Os executivos da nossa empresa também respondem exatamente que é por diversificação de fornecedores quando perguntam por que não usamos Nvidia. O engraçado é que não usamos Nvidia para treinamento de forma alguma
    Usamos Trainium porque não conseguimos obter Nvidia
  • Fico curioso para saber como a frase “é prudente não colocar todo o hardware e software de IA em um único fornecedor” se encaixa com o contrato de exclusividade com a Microsoft
    Até o contrato OpenAI/Oracle exige que a Oracle rode a stack do Azure em seu próprio datacenter, permitindo que a MSFT intermedeie a relação. Os chips da AMD mencionados no artigo também são comprados pela MSFT
    Fico me perguntando se isso significa que a OpenAI assume o risco e os gastos de capital enquanto fornece à Microsoft uma variedade de hardware, ou se há outras condições

• A formulação de que a OpenAI considerou levantar capital para construir tudo por conta própria e criar uma rede de foundries para fabricação de chips minimiza muito o quão absurdas eram as ambições de Sam
  Ele lançou a ideia de levantar de algum jeito US$ 7 trilhões para construir 36 fabs dedicadas a silício de IA, e consta que executivos da TSMC praticamente riram na cara dele ao ouvir isso

  • Sam esclareceu diretamente essa afirmação. Ele disse que a ideia era que, para atender à demanda, no fim todos nós, coletivamente, teríamos de gastar US$ 7 trilhões em computação, não que a OpenAI levantaria sozinha US$ 7 trilhões para construir toda a capacidade de produção
  • É surpreendente que Satya Nadella tenha olhado para esse sujeito e esse plano e concluído: “este é o gênio estável a quem devemos confiar a OpenAI”
  • Qualquer pessoa com um mínimo de bom senso teria rido. US$ 7 trilhões simplesmente não é uma quantia que se consiga levantar
    O investimento líquido doméstico total dos EUA nem chega a US$ 1 trilhão: https://fred.stlouisfed.org/series/W790RC1Q027SBEA
    A formação bruta de capital fixo, isto é, investimento líquido mais depreciação, também não é muito maior: https://fred.stlouisfed.org/series/NFIRSAXDCUSQ
    Google, Apple e Microsoft juntas nem chegam a US$ 100 bilhões por ano em capex. Isso apesar de a soma dos valores de mercado das três chegar a quase US$ 10 trilhões
    Uma empresa de US$ 100 bilhões pedir US$ 7 trilhões é algo inacreditavelmente absurdo
  • Ainda assim, de certa forma é admirável. Se você começa pedindo US$ 7 trilhões, depois pedir só US$ 1 trilhão parece bastante razoável ;-)
  • Talvez eu esteja sendo cínico demais, mas só falar em uma única fab já seria motivo para rir. Design, vá lá, mas fabricação?

• Diante da análise financeira convincente de “The Subprime AI Crisis”, só tenho a acrescentar a fala do filme “Dodgeball”
  “Estratégia ousada, Cotton. Vamos ver se vai dar certo.”
  0 - https://www.wheresyoured.at/subprimeai/
  1 - https://www.imdb.com/title/tt0364725/quotes/

  • Em resposta ao texto da wheresyouredat, parece que a OpenAI enfraqueceu o modelo geral gratuito, fazendo com que ele continue dando respostas incompletas nos meus benchmarks. Já o modelo o1 continua acertando os mesmos benchmarks
    Antes, o modelo gratuito também costumava dar respostas mais corretas aos meus benchmarks dependendo do dia. Então tenho a impressão de que aumentaram a distância entre os dois para fazer o o1 parecer mais útil
    Não me importo com o que a OpenAI faz com seus produtos, mas para mim parece que nerfaram o produto gratuito para fazer o o1 parecer relativamente melhor

• Quanto tempo levaria para colocar um novo chip em produção e usá-lo para treinamento ou inferência?

  • Para uma equipe competente, algo em torno de 2 anos. Depois disso, ainda é preciso software para fazê-lo funcionar direito. Não é algo que dê para fazer rápido.
    Se despejar mais dinheiro, talvez fique mais rápido, mas também pode acabar atrapalhando e levando ainda mais tempo.
  • Neste caso, não vejo o tempo como algo tão importante. Basta olhar para como o Apple silicon mudou o desempenho e eliminou a dependência da Intel.
    Se acertarem bem, podem ampliar ainda mais a distância em relação a outros provedores de LLM.
  • É bem provável que o chip de 1ª geração não seja suficiente para uso em operação real; nesse caso, será preciso passar para a 2ª geração. Isso pode levar algo em torno de 3 a 4 anos.

• Provavelmente estão construindo data centers próprios para usar esse chip, mas é estranho que a matéria não diga isso de fato.
  Existe algum chip ocidental de IA/multiplicação de matrizes que não seja produzido pela TSMC? Amazon ou Meta talvez sejam diferentes? NVIDIA, AMD e Google TPU também usam a TSMC, com colaboração de projeto da Broadcom, e agora a OpenAI também.
  Fico me perguntando se a Samsung não é competitiva. Também fico curioso se o limite do volume total de chips ou chipsets vem da capacidade de produção da TSMC, ou se é por causa de memória ou packaging.

  • A Samsung não é competitiva, então todos os bons chips hoje precisam ser fabricados pela TSMC. O gargalo dos chips de IA tem sido reportado como sendo packaging e HBM, mas a TSMC também está com alta utilização.
  • A Samsung está cerca de 2 a 3 anos atrás, e não está em um nível tão terrível quanto dizem no HN. Mas, se você consegue vender chips com margem de lucro de 80%, naturalmente vai querer usar o que há de melhor.

• A OpenAI parece ter percebido que, fora o reconhecimento da marca, praticamente não tem moat, e tentou criar um com fabs e projeto de chips.
  Se uma fab e chips proprietários fossem magicamente superiores e pudessem ser feitos mais barato sem pagar a taxa do time verde, ela teria uma enorme vantagem em custo de inferência.
  Talvez tenham concluído que começar apenas por chips proprietários já seria suficiente.

• Continuo achando que transistores estão sendo desperdiçados em IA. Usamos estados binários para remover entropia do sistema, mas em IA é permitida muito mais entropia.
  Para esse uso, parece que deveria ser possível usar uma abordagem muito melhor do que portas NAND.

  • Outro motivo para usar binário foi que isso permitiu automação de síntese, em vez de circuitos desenhados à mão. Em grande escala, isso importa muito.
    Reduz custos de engenharia não recorrente e aumenta a velocidade de desenvolvimento. Ao abandonar isso, você pode acabar abandonando também todo o ecossistema de ferramentas que tornou possível a eficiência atual.

• Coisas como o GH Copilot são incríveis, mas, fora isso, ainda não vi o impacto social e cultural dos LLMs. Estou deixando de fora posts superaquecidos em redes sociais de influenciadores mostrando exemplos legais ou lançamentos de modelos.
  Não vejo essa tecnologia se infiltrando pela sociedade em geral, e fico me perguntando se sou imune a ela ou se ela está escondida em camadas profundas de produtos SaaS/empresariais.
  Em vez de terminar como 3D TV ou VR, em um “ah, que legal”, parece que deveria haver um impacto cultural produtivo amplo, persistente e com alta retenção.
  Ainda mais considerando tanto dinheiro queimado em dissipadores de GPU.

  • A geração que está hoje em escolas e universidades está tornando os LLMs parte da rotina diária.
    Além da educação, surgiu uma indústria de SEO em torno dos LLMs, e eles adoram a nova capacidade de produzir spam em massa.
    Em empresas e governos, a adoção está acontecendo com cautela para ganhos de produtividade em tarefas de comunicação nas quais um pouco de alucinação ou um estilo corporativo meio robótico é aceitável. A frase final ainda é feita por uma pessoa.
    Em suporte ao cliente e vendas, estão gastando dinheiro em versões “AI” das antigas árvores de menu telefônico, que no fim fazem você gritar “quero falar com um atendente” antes de conseguir falar com uma pessoa.
    Em outros lugares, a adoção é lenta. Esperamos resultados determinísticos, mas é difícil esperar isso desses modelos. Ao criar software que interage com APIs de LLM, a saída pode sair aleatoriamente da estrutura solicitada, então é preciso reimplementar técnicas de programação defensiva que não usávamos havia mais de 10 anos. Isso também torna complicado usar saída estruturada ou chamadas de função.
  • É bem fácil verificar. Pergunte aos seus amigos, de preferência amigos que não sejam desenvolvedores, se eles usam.
    Ao ver uma amiga da contabilidade e uma amiga do marketing usando para análise básica ou redação de textos promocionais, percebi que não desenvolvedores já usam regularmente.
    O uso por cargos não técnicos é importante nessa área. Como contraexemplo de hype, nas criptomoedas, as pessoas não técnicas que conheço apenas “mantinham” ativos por meio de exchanges, sem concretizar os casos de uso alegados.
  • As pessoas ao meu redor e eu usamos como substituto de parte das buscas na web.
    Em especial, o o1-preview é muito bom para escrever uma espécie de mini-review de visão ampla sobre perguntas que me interessam.
    Funciona bem quando já há muitos textos sobre aquele tema e eles precisam ser recombinados de acordo com a minha pergunta.
    O formato de chat é muito mais eficiente do que uma busca na web ou ler alguns artigos relevantes da Wikipedia. É realmente uma questão de ver o copo meio cheio ou meio vazio. Fico muito impressionado e otimista quanto à utilidade, mas, ao mesmo tempo, claramente não é AGI.
  • Curiosamente, parece que a mídia não captou bem o volume de uso. A maioria dos jornalistas e youtubers mostra apenas casos de uso triviais.
    Vi pessoas inesperadas usando LLMs para todo tipo de finalidade. Em muitos casos, elas nem querem contar ao chefe que usam a ferramenta, porque ela lhes dá superpoderes.
    Estou falando de bancários, gerentes de loja, políticos locais, pequenos empresários. Antes eu também acharia difícil de acreditar, mas estou vendo cada vez mais pessoas inesperadas usando LLMs e estruturando prompts corretamente.
  • Parece que você só está pensando nos consumidores diretos, mas é preciso considerar que a Microsoft integrou o Copilot ao Windows e continua melhorando isso.
    Quando todos os usuários do Outlook tiverem botões de resumo, extração e melhoria de e-mails, centenas de milhões de pessoas usarão LLMs todos os dias.

• A ideia de gastar US$ 7 trilhões em fabs próprias era ambiciosa e também insana. Parece que a realidade acabou se impondo. Se acordaram do grande sonho, espero que continuem mantendo a qualidade.

  • Parece mais que o trabalho de estabelecer o ponto de referência de preço foi concluído, e agora eles estão prontos para fazer negócios reais.