Por que a proposta da YC para ‘design de chips com LLM’ erra o alvo

 (zach.be)
1 pontos por GN⁺ 2024-11-18 | 1 comentários | Compartilhar no WhatsApp
  • A YC vê que os LLMs podem reduzir drasticamente o custo de projetar sistemas digitais sob medida, mas o gargalo central está mais em projeto de arquitetura de chip e verificação do que em geração de código
  • Mesmo que LLMs às vezes consigam gerar Verilog funcional, seu desempenho ainda é inferior ao humano e eles ainda não conseguem projetar novas arquiteturas que determinam o desempenho dos chips aceleradores mais modernos
  • A abordagem focada em redução de custos se parece com a antiga síntese de alto nível (HLS), que também elevou a produtividade, mas entregou qualidade de resultado e desempenho inferiores ao fluxo RTL, sem conseguir virar padrão no mercado de chips de alto valor
  • As áreas em que LLMs ou HLS ajudam são limitadas, como aceleração com FPGA por equipes sem grande especialização em RTL; mercados como genomics e CFD já são parcialmente atendidos por GPUs e também são pequenos
  • A oportunidade mais realista está menos na automação do design e mais na produtividade da verificação de chips, embora ainda reste o desafio de fazer LLMs entenderem e raciocinarem sobre especificações complexas de chips

O gargalo do design de chips que a proposta da YC ignorou

  • Na mais recente Request for Startups, a YC argumenta que projetar sistemas digitais sob medida sempre foi caro por causa do design customizado, desenvolvimento e testes, e que grandes modelos de linguagem podem reduzir fortemente esse custo
  • Ao otimizar algoritmos ou cálculos específicos, seria possível executar tarefas como cryptocurrency mining, data compression e special-purpose encryption 5x~100x mais rápido, com 10x~100x menos energia
  • Se Gary Tan e a YC realmente acreditam que LLMs podem projetar chips 100 vezes melhores que humanos, então estão subestimando de forma significativa a dificuldade do design de chips e a especialização dos projetistas
  • LLMs às vezes escrevem Verilog funcional, mas ainda têm desempenho inferior ao humano e não possuem capacidade de projetar novas arquiteturas de chip que impulsionam os ganhos de desempenho dos aceleradores modernos
  • No fim, LLMs se parecem mais com uma ferramenta para gerar código Verilog mediano do que com o agente responsável por tornar chips muito melhores

Os limites da abordagem de redução de custos que a HLS já encontrou antes

  • A expectativa de ampliar a viabilidade econômica da aceleração por hardware ao reduzir o custo do design de chips com ferramentas baseadas em LLM se parece com tentativas passadas de síntese de alto nível (HLS)
  • A HLS surgiu com a fundação da Forte Design Systems em 1998, e o Cynthesizer convertia automaticamente SystemC em Verilog com base em restrições específicas de timing
  • Ferramentas de HLS transformam código em linguagens de mais alto nível, como C, C++ e Scala, em Verilog, que então pode ser sintetizado em portas lógicas para ASICs e FPGAs
  • O objetivo era ajudar equipes sem profundo conhecimento em Verilog a desenvolver silício de forma mais barata e mais fácil
  • O Cynthesizer não se consolidou amplamente, e a Forte foi adquirida pela Cadence em 2014, sendo depois integrada à ferramenta de HLS Stratus da Cadence

Como a HLS é avaliada hoje e o mercado de chips de alto desempenho

  • A Xilinx, hoje AMD, promoveu fortemente a HLS voltada para aceleração com FPGA, e o Vitis é considerado uma das boas ferramentas de HLS da indústria
  • A introdução da pesquisa de Lan Huang sobre o estado da arte em HLS aponta limitações dessas ferramentas
    • Os projetistas ainda ficam expostos a vários aspectos do design de hardware
    • O ciclo de desenvolvimento continua longo
    • A qualidade do resultado (QoR) fica muito atrás do fluxo RTL
  • Levantamentos de outros pesquisadores também mostram resultados decepcionantes em linha semelhante
  • A HLS pode aumentar a produtividade dos projetistas, mas reduz o desempenho dos designs produzidos
  • Em mercados de chips de alto valor e forte competição, como aceleradores de IA, o desempenho é o principal indicador competitivo; por isso, faz sentido arcar com o custo inicial de contratar excelentes projetistas de RTL para criar chips mais rápidos

O problema econômico dos pequenos mercados de aceleradores

  • A HLS não conseguiu se firmar em chips de alto valor e grande volume, onde desempenho e eficiência são essenciais, e LLMs que geram Verilog de baixa qualidade provavelmente enfrentariam o mesmo problema
  • Alguns casos em que a HLS teve sucesso foram áreas em que engenheiros sem especialização em silício puderam usar aceleração por hardware
    • aceleração com FPGA para workloads de genomics
    • aceleração com FPGA para workloads de CFD
  • Nesses casos, a HLS é valiosa porque os engenheiros que criam esses aceleradores não têm experiência para produzir, do zero, um design otimizado em nível de RTL
  • Mas os mercados de aceleração por hardware em genomics e CFD são relativamente pequenos, as GPUs já atendem parte da demanda, e o volume ainda é inferior até mesmo a uma fração das vendas de chips de IA ou aceleradores criptográficos
  • Se o mercado fosse maior, já haveria viabilidade econômica para empregar engenheiros de hardware experientes e construir silício otimizado

O que a redução de custos pode abrir — e seus limites

  • LLMs podem reduzir o custo de desenvolvimento de silício e viabilizar ASICs dedicados para aplicações como genomics, que antes não fechavam a conta
  • Ainda assim, a razão de esses ASICs antes não serem economicamente viáveis é que não se tratava de um mercado enorme
  • Aplicações que ainda não precisam de aceleração por hardware provavelmente pertencem a mercados pequenos, o que as torna maus alvos para startups
  • Em mercados em crescimento, chips projetados por LLMs com qualidade inferior podem servir como uma base inicial barata para startups
  • Mas, quando o mercado crescer o suficiente para justificar uma equipe completa de design de chips, é provável que, no futuro próximo, chips projetados por humanos superem com facilidade os chips projetados por LLMs em desempenho

O papel realista dos LLMs no design de chips

  • Se o design de chips com LLMs abre principalmente mercados de baixo valor, então o motivo de startups e empresas consolidadas de EDA quererem usar LLMs está em outro lugar
  • Um copiloto de LLM para Verilog, na melhor das hipóteses, é algo mediano, mas pode economizar tempo de engenharia e reduzir custos da empresa ao escrever trechos simples de código
  • A área mais importante é verificação de chips
    • Em geral, bugs em silício têm custo muito alto, por isso costuma ser necessário ter 2 engenheiros de verificação para cada 1 projetista
    • Hoje é difícil encontrar bons engenheiros de verificação
  • Se LLMs puderem tornar a verificação mais rápida, fácil e eficaz, isso gerará grande valor tanto para empresas de semicondutores estabelecidas quanto para startups de semicondutores
  • No entanto, fazer LLMs realmente entenderem e raciocinarem sobre especificações de design de chips não é um desafio pequeno, e há ceticismo em relação a abordagens que apenas aplicam LLMs ajustados para verificação de chips, como Bronco ou Instachip

Os modelos necessários para verificação e quem mais se beneficia

  • Especificações de chips costumam ser complexas, incompletas e, muitas vezes, labirínticas
  • Uma verificação de chips bem-sucedida exige que o LLM entenda o estado interno esperado do chip
  • Em essência, o modelo de linguagem precisa ter um modelo formal do chip, algo mais próximo de uma forma de AlphaProof aplicada à verificação de semicondutores do que à matemática
  • A Normal Computing está trabalhando nessa direção junto com novas thermodynamic chip architectures
  • LLMs podem baratear o design de chips, mas os principais beneficiários seriam grandes empresas de semicondutores que podem reduzir equipes de verificação, startups tradicionais de chips que podem operar com times menores e startups de software EDA que vendem ferramentas baseadas em LLM
  • LLMs não vão criar chips 100 vezes melhores nem viabilizar startups de hardware focadas em mercados sem aceleração suficiente por hardware, porque a economia simplesmente não fecha

Leituras relacionadas

1 comentários

 
GN⁺ 2024-11-18
Opiniões no Hacker News

  • No campo de EDA, os LLMs ainda têm um longo caminho pela frente
    Alguns meses atrás, no LinkedIn, alguém perguntou aos principais LLMs qual era a capacitância total de um circuito com três capacitores que, contra a intuição do desenho, na verdade estavam em paralelo, e nenhum acertou. Eles não só julgaram errado que estavam em série, como também erraram o próprio cálculo de capacitância em série, e mesmo tentando vários prompts não chegaram à resposta correta
    Também vi um anúncio de uma ferramenta de IA que dizia ajudar a entender esquemas de circuitos. Em um circuito que parecia um pedal de distorção de guitarra, ela acertou que o capacitor bloqueava corrente contínua, mas deixou passar que ele fazia parte de um filtro passa-altas RC. A narração dizendo “não me ensinaram isso em quatro anos de engenharia elétrica” foi engraçada, porque fiquei pensando se eles realmente não ensinam bloqueio de corrente contínua por capacitores e filtros RC
    Para essa área, acho que seria preciso criar um conjunto de materiais cuidadosamente selecionados e treinar um modelo mais especializado. Modelos de uso geral se perdem demais

    • Imagino que a modelagem interna de um LLM seja mais ou menos no nível de “é um desenho de circuito com capacitores para dever de casa de estudante; se a tarefa de calcular componentes elétricos fosse só uma soma simples, seria fácil demais, então deve usar a regra da soma dos inversos”
      Muita gente com formação universitária também não acredita que tenha aprendido algo significativo em certas disciplinas. Posso acreditar perfeitamente que essas pessoas não tenham aprendido nem lembrado algo significativo naquela disciplina, mas é bem mais duvidoso que a culpa seja da aula
    • Para começo de conversa, não sei por que deveríamos esperar que um LLM de instruções genérico ajustado por tuning acertasse isso. Não ter funcionado não é nada surpreendente; se tivesse funcionado, aí sim eu teria ficado bastante surpreso
    • A disciplina introdutória de engenharia elétrica que tive de fazer por causa do diploma de CS ainda me dá pesadelos
      Circuitos RC foram realmente difíceis
    • Quantas palavras será que tem The Art of Electronics? Será que ajudaria colocá-lo como contexto?

  • Tudo bem usar LLM em etapas que, para começo de conversa, não são reproduzíveis, como geração de ideias ou aprendizado. Mas ainda é difícil acreditar que engenheiros queiram colocar uma caixa-preta lenta, cara e não determinística no núcleo de sistemas extremamente complexos que exigem confiabilidade, possibilidade de inspeção e compreensibilidade

    • Você está dizendo que é difícil acreditar que caixas-pretas não determinísticas no núcleo de sistemas complexos queiram colocar caixas-pretas não determinísticas no núcleo de sistemas complexos?
    • Acabei aceitando isso. Engenharia e ganhar dinheiro com engenharia são coisas completamente separadas, e esta última às vezes nem exige tecnologia. Claro, fraude é antiética
    • Concordo totalmente. Não consigo encontrar todas as fontes agora, mas [1] e suas referências podem ser um bom ponto de partida para se aprofundar
      Lembro de ter visto uma prova ou conjectura de que é impossível criar um “firewall de LLM” capaz de bloquear todos os prompts possíveis, mas minha memória pode estar errada
      [1] https://arxiv.org/abs/2410.07283
    • O próprio ser humano também é quase uma caixa-preta lenta, cara e não determinística
    • LLMs podem ser tornados totalmente determinísticos dependendo do método de amostragem usado. Alguns métodos não têm nenhum elemento aleatório
      Quanto ao resto, está certo. Ainda não são inspecionáveis nem compreensíveis

  • Trabalhos que exigem “compreensão” profunda ou novas invenções não são algo para entregar a um regenerador estatístico de palavras. Ainda não vi um único caso, em qualquer área, em que um LLM tenha inventado algo realmente novo. Quero dizer algo que um especialista da área consideraria novo
    Onde os LLMs brilham é na geração de texto padronizado, e isso é muito útil. Até agora, nunca vi em um LLM algo que parecesse um “pensamento” original. Mesmo usando IA todos os dias no trabalho

  • A YC não está interessada em saber se fazer design de chips com LLMs “faz sentido”. Como outros VCs, ela é tecnicamente incompetente, e seu único interesse é produzir startups movidas a hype com chance de serem adquiridas
    Gary Tan não está interessado em “fazer chips melhores”; está interessado em encontrar um trouxa que compre uma empresa ruim movida a hype por alguns bilhões de dólares. Seria perfeito para um banco de investimento à moda antiga
    A YC é tecnicamente incompetente e não é uma organização que queira tornar o mundo melhor. Tudo o que eles dizem é mentira e esconde sua verdadeira intenção: ganhar dinheiro

    • Eu teria dito de outro jeito, mas em geral está certo. Um VC de hoje empurraria IA mesmo sabendo que é a ferramenta errada, e quanto mais complexa for a área de aplicação, mais fácil fica encontrar o tal trouxa
    • Primeiro, VCs não ganham dinheiro quando uma “startup ruim” é adquirida; eles ganham dinheiro com verdadeiros sucessos fora da curva. Esse é o único jeito de ganhar dinheiro de forma consistente no negócio de VC
      Segundo, você pode dar um exemplo de “empresa movida a hype”, sem tração real de receita, que tenha sido vendida por “alguns bilhões”?
      Terceiro, bancos de investimento intermedeiam a venda de ativos, não os compram diretamente
      Se você não entende nem o básico sobre VCs, startups e bancos, talvez seja melhor ficar fora desta conversa

  • Trabalhei por um ano na equipe de arquitetura de DSP da Qualcomm, então tenho alguma experiência nessa área, embora não muita.
    O autor deixa passar alguns pontos importantes em design de chips. A maior parte do tempo e do trabalho não é gasta escrevendo Verilog de alto desempenho. Projetistas gastam um tempo enorme respondendo perguntas, escrevendo documentação, copiando boilerplate e lendo manuais e diagramas obscuros. LLMs já conseguem ajudar em tudo isso.
    Acredito que, mesmo no estado atual, LLMs sozinhos já poderiam deixar uma equipe de design pelo menos 2 vezes mais rápida; com ferramentas melhores, talvez 4 ou até 10 vezes, mesmo sem melhora na inteligência dos modelos. A maior parte do ganho viria de rodar mais experimentos, tentar mais alternativas, receber feedback mais rápido sobre escolhas de design e gastar menos tempo com documentação, comunicação e leitura de documentação ruim.

    • Sou o autor. Não é que eu discorde. Na verdade, escrevi exatamente isso no texto:
      “Ao que parece, LLMs são bastante valiosos até em chips de mercados lucrativos. Só não devem fazer a maior parte do trabalho de design. Um copiloto de LLM para Verilog é, na melhor das hipóteses, mediano. Mas fazer um LLM escrever pequenos trechos de código pode economizar tempo dos engenheiros e, no fim, reduzir custos para o empregador.”
      Acho que projetistas ficarem 2 vezes mais rápidos provavelmente é otimista, mas posso estar errado. A maior parte da minha experiência com design de chips foi focada em arquitetura de datapath e design em empresas pequenas com boa documentação, então talvez eu esteja subestimando quanto boilerplate um engenheiro médio precisa lidar.
      Ainda assim, não acho que LLMs vão projetar datapaths de alto desempenho ou Verilog de networking tão cedo.

  • Concordo com a maioria dos pontos técnicos do texto.
    Ainda assim, pode haver valor em a YC pedir inovação nessa área. O texto mostra corretamente que não há vitórias fáceis ao aplicar LLMs ao design de chips. Se o mercado de uma aplicação específica é pequeno demais, mesmo com ajuda de LLMs isso não muda muito; se o chip é importante demais, você vai querer usar os melhores engenheiros. Ao contrário do software, o efeito de cauda longa não é tão grande em design de chips. Fazer tape-out de um chip não é algo que um hacker consiga fazer, e até brincar com FPGA tem um custo de entrada maior do que hackear em um PC.
    Mas, se houvesse um caminho óbvio para avançar, a YC nem precisaria pedir abordagens inovadoras.

    • Dá para chamar isso de arrogância ingênua de iniciante.
      Foi o que se viu quando George Hotz tentou virar as empresas de chips de cabeça para baixo com seu plano de chip de IA https://geohot.github.io/blog/jekyll/update/2021/06/13/a-bre... — ele parecia não entender bem a complexidade. Mas, para ser justo, ele rapidamente mudou de direção para software e para fabricar o tiny-box.
    • Quantos especialistas em design de chips existem na YC?
    • Existe um caminho óbvio adiante, mas parece ser uma opinião minoritária, ou talvez até periférica. Ele não segue os trade-offs tradicionais.
      Um array sistólico universal, bit a bit, não von Neumann, pode acelerar muito não só cálculos de IA, mas praticamente tudo. Ou seja, um chip que faz computação de propósito geral.
      O design do chip em si é quase trivial. Acho que alguém com alguns anos de experiência conseguiria criá-lo em poucos dias. Quero submeter um design ao próximo TinyTapeout. Como tenho renda fixa, tive de esperar por um tempo.
      O verdadeiro problema é a programação. É quase uma fronteira infinita e inexplorada. Não há uma boa forma de mirar nessa arquitetura, e você provavelmente não vai querer usar Verilog nem outra linguagem de descrição de hardware.
    • Mesmo um caminho óbvio pode ser arriscado. Primeiro, é bom poder dividir o risco; segundo, mais investimento também aumenta as conexões.
      Quanto ao boom dos LLMs, acho que em algum momento as pessoas vão perceber que combinar LLMs e algoritmos permite fazer muito mais do que usar apenas LLMs. Talvez “algoritmos” não seja a palavra adequada aqui; quero dizer ferramentas auxiliares como bancos de dados, algoritmos e outros modelos. Por exemplo, em vez de treinar o LLM no dataset inteiro, seria possível treiná-lo apenas na API de acesso.

  • Não sei nada sobre design de chips.
    Mas a frase “aplicar IA ao campo X não funciona, porque X é complexo e os LLMs atuais têm desempenho inferior ao de humanos” sempre me soa suspeita.
    VCs não estão investindo para melhorar X com os sistemas atuais baseados em LLMs; estão investindo em um futuro em que sistemas baseados em LLMs terão desempenho 100 vezes melhor.
    Escrever também era complexo, e LLMs já foram piores que humanos, mas agora é diferente. O mesmo vale para arte digital e música. Basta ver o suno.AI. Há um padrão aqui.

    • O texto não aprofunda isso, mas um dos grandes obstáculos para alcançar desempenho sobre-humano em Verilog é a falta de dados de treinamento de alta qualidade.
      A maior parte do Verilog em nível profissional é privada, então LLMs normalmente são muito piores em Verilog do que em Python. E, mesmo assim, LLMs também são bem ruins em Python.
    • IA ainda é pior que humanos até em arte. O diagrama de Venn entre pessoas otimistas com LLMs e pessoas que não entendem curvas logísticas parece um círculo.
    • Neste caso específico, é difícil ver como LLMs poderiam ir daqui até lá. O problema não é código boilerplate, como ao criar um site em React, mas a arquitetura realmente nova e, especialmente, as decisões arquiteturais que precisam ser tomadas ao longo do processo.
      Algumas delas podem parecer muito arbitrárias, e fazê-las corretamente exige entendimento profundo. Não dá para inferir isso só a partir de tokens como em linguagem. Uma compreensão fundamental das leis da física e de regras empíricas é importante.
    • Ainda assim, não vejo uma startup aqui.
      Se em algum caso de uso LLMs ficarem bons nessa área, quem vai se beneficiar serão as empresas de design de chips existentes, não pequenas startups.
    • Escrever era complexo e LLMs já foram piores que humanos, mas agora conseguem substituir facilmente uma pessoa mediana. Como foram ajustados para produzir respostas atraentes para humanos, isso vale especialmente para casos de uso com valor subjetivo.
      Design de chips não parece muito parecido. Parece mais próximo de situações em que uma ferramenta treinada de forma especializada ajuda. As capacidades que LLMs generalistas mostraram em tarefas específicas são impressionantes, mas há casos em que parece muito difícil que um modelo treinado em um corpus amplo de texto supere uma ferramenta especializada. Voltando ao primeiro parágrafo: não parece realmente suspeito achar que um modelo treinado em texto vai vencer o Stockfish no xadrez?

  • A YC, como a maioria dos investidores, está atirando para todos os lados e rezando quando se trata de IA

    • Startups de ferramentas de automação de design seguem um caminho realmente difícil. Primeiro, os clientes não compram produtos de startups; segundo, o espaço para uma saída via aquisição é muito pequeno
    • Dá para ganhar dinheiro pela lógica do “tolo maior”. Uma venda bem-sucedida, isto é, uma saída, não significa necessariamente uma empresa bem-sucedida e lucrativa

  • Pelo que entendi, a aceleração por hardware de um algoritmo específico pode ser 100 vezes mais rápida e eficiente do que o mesmo algoritmo rodando em software em um processador de uso geral; e, como o design automatizado de chips já se mostrou um espaço de problemas difícil, a ideia seria aplicar IA para reduzir a barreira de entrada de aceleradores de hardware especializados para várias tarefas
    Não acho que isso signifique que a IA projete chips 100 vezes melhor que humanos; vejo essa como a compensação de engenharia de que eles estão falando. Dito isso, a redação é tão dolorosamente estranha e comercial que não dá para culpar ninguém por ficar confuso

    • Lendo de forma generosa, eu também vejo assim
      Além disso, o texto original parece perder o ponto ao dizer que as aplicações-alvo têm mercados pequenos demais para valerem a pena
      Individualmente, cada uma pode não ser grande o suficiente para criar o valor de mercado de uma empresa, mas uma startup hipotética de chips de IA poderia perseguir vários desses pequenos mercados ao mesmo tempo. Não seria uma estratégia de cauda longa?

  • É um bom texto, mas o princípio central da YC é presumir que a tecnologia continua avançando exponencialmente e pensar no que isso tornará possível
    As propostas deles sempre assumem que startups vão surfar algo como uma Lei de Moore da IA, e síntese de hardware é um caso de uso óbvio. Ou seja, eles partem da premissa de que, em dois anos, surgirá uma empresa bem-sucedida de síntese de hardware por IA e tentam ficar à frente dessa curva
    Concordo que eles provavelmente estão errados, mas este texto não explica de fato por que apostar no avanço exponencial das capacidades de IA está errado