Como o AlphaChip revolucionou o design de chips de computador

• Em 2020, foi publicado um preprint apresentando um novo método de aprendizado por reforço para projetar layouts de chips
• Esse método foi posteriormente publicado na Nature e disponibilizado como open source
• Hoje, estamos publicando um addendum na Nature que explica em detalhes esse método e seu impacto na área de design de chips
• Também estamos lançando checkpoints pré-treinados, compartilhando os pesos do modelo e anunciando o nome AlphaChip
• Os chips de computador impulsionaram os avanços extraordinários da inteligência artificial (IA), e o AlphaChip usa IA para acelerar e otimizar o design de chips
• Esse método foi usado para projetar layouts de chips sobre-humanos nas três gerações mais recentes da Tensor Processing Unit (TPU), o acelerador de IA personalizado do Google
• O AlphaChip é uma das primeiras abordagens de aprendizado por reforço usadas para resolver um problema real de engenharia
• Em vez de exigir semanas ou meses de trabalho humano, ele gera layouts de chips sobre-humanos ou em nível semelhante em poucas horas, e esses layouts são usados em diversos chips, de data centers no mundo todo a celulares

Como o AlphaChip funciona

• Projetar o layout de um chip não é uma tarefa simples
• Um chip de computador é composto por muitos blocos interconectados, todos ligados por hierarquias de componentes de circuito e fios extremamente finos
• Também existem muitas restrições de projeto complexas e interligadas que precisam ser satisfeitas ao mesmo tempo
• Por causa dessa complexidade, os projetistas de chips vêm tendo dificuldades há mais de 60 anos para automatizar o processo de floorplanning de chips
• De forma semelhante ao AlphaGo e ao AlphaZero, construímos o AlphaChip para abordar o floorplanning de chips como se fosse um tipo de jogo
• Começando com uma grade vazia, o AlphaChip posiciona um componente de circuito por vez e repete isso até concluir o posicionamento de todos os componentes
• Em seguida, ele recebe uma recompensa com base na qualidade do layout final
• Com uma nova rede neural de grafos "baseada em arestas", o AlphaChip pode aprender as relações entre componentes interconectados do chip e generalizar isso para todo o chip, permitindo que ele melhore a cada layout que projeta

Usando IA para projetar os chips aceleradores de IA do Google

• Desde seu anúncio em 2020, o AlphaChip vem gerando layouts de chips sobre-humanos usados em todas as gerações de TPUs do Google
• Esses chips viabilizam grandes modelos de IA baseados na arquitetura Transformer do Google
• As TPUs estão no centro de poderosos sistemas de IA generativa, que vão de grandes modelos de linguagem como Gemini a geradores de imagem e vídeo como Imagen e Veo
• Esses aceleradores de IA também são centrais para os serviços de IA do Google e são disponibilizados a usuários externos por meio do Google Cloud
• Para projetar os layouts das TPUs, o AlphaChip primeiro pratica com vários blocos de chips de gerações anteriores, como blocos de rede on-chip e inter-chip, controladores de memória e buffers de transferência de dados (isso é chamado de pré-treinamento)
• Depois, o AlphaChip é executado nos blocos atuais da TPU para gerar layouts de alta qualidade
• Ao contrário de abordagens anteriores, o AlphaChip melhora e fica mais rápido quanto mais instâncias de tarefas de posicionamento em chips ele resolve, de forma semelhante a um especialista humano
• Em cada nova geração de TPU, incluindo a mais recente Trillium (6ª geração), o AlphaChip vem projetando layouts melhores e cobrindo uma parcela maior do floorplan completo, acelerando o ciclo de design e produzindo chips de maior desempenho

O amplo impacto do AlphaChip

• É possível ver o impacto do AlphaChip em aplicações por toda a Alphabet, na comunidade de pesquisa e em toda a indústria de design de chips
• Além do projeto de aceleradores de IA especializados como a TPU, o AlphaChip vem gerando layouts para outros chips da Alphabet, como o processador Axion, a primeira CPU de uso geral para data centers baseada em Arm do Google
• Organizações externas também estão adotando o AlphaChip e desenvolvendo sobre ele (por exemplo: a MediaTek, uma das principais empresas de design de chips do mundo, expandiu o AlphaChip para melhorar energia, desempenho e área de chip, ao mesmo tempo em que acelerava o desenvolvimento de seus chips mais avançados, como o Dimensity Flagship 5G usado em celulares Samsung)
• O AlphaChip desencadeou uma explosão de trabalhos de IA para design de chips, que se estenderam para outras etapas importantes do projeto de chips, como síntese lógica e seleção de macros

Criando os chips do futuro

• Acreditamos que o AlphaChip tem potencial para otimizar todas as etapas do ciclo de design de chips, da arquitetura de computadores à fabricação
• Ele pode revolucionar o design de chips para hardwares personalizados encontrados em dispositivos do dia a dia, como smartphones, equipamentos médicos e sensores agrícolas
• Futuras versões do AlphaChip estão atualmente em desenvolvimento, e esperamos continuar inovando nessa área e colaborar com a comunidade para criar um futuro em que os chips sejam mais rápidos, mais baratos e mais eficientes em energia

Opinião do GN⁺

• A abordagem baseada em IA do AlphaChip está revolucionando a área de design de chips. Em especial, houve um grande avanço na automação do processo de projeto de layouts de chips
• O AlphaChip é um dos primeiros exemplos de aplicação de aprendizado por reforço a um problema real de engenharia, e isso é um bom exemplo de como a IA pode ser usada no mundo real
• O impacto do AlphaChip no design de TPUs será um marco importante no avanço do hardware acelerador de IA. Aceleradores de IA melhores permitirão modelos de IA mais poderosos, o que por sua vez acelerará ainda mais os avanços em IA
• No entanto, uma dependência excessiva de ferramentas de design por IA pode levar à perda de expertise dos projetistas humanos. No longo prazo, a colaboração entre IA e especialistas humanos será o cenário mais desejável
• Ferramentas semelhantes de design baseado em IA incluem o Cerebrus da Cadence e o DSO.ai da Synopsys. A tendência é que a competição entre ferramentas de automação de design baseadas em IA fique cada vez mais acirrada

[GN⁺]

Comentários do Hacker News

• O artigo da Google na Nature foi criticado por pesquisadores da área de EDA CAD
  • Artigo de resposta de um pesquisador interno da Google: "Stronger Baselines for Evaluating Deep Reinforcement Learning in Chip Placement"
  • Artigo da equipe da UCSD no ISPD 2023: "Assessment of Reinforcement Learning for Macro Placement"
  • Artigo crítico de Igor Markov: "The False Dawn: Reevaluating Google's Reinforcement Learning for Chip Macro Placement"
• O algoritmo de posicionamento de macros com RL da Google não foi comparado de forma justa com outros algoritmos modernos
  • Afirma ter desempenho melhor que o humano no posicionamento de macros, mas isso não alcança o desempenho dos algoritmos atuais de posicionamento misto
  • A técnica de RL exige mais recursos computacionais do que outros algoritmos e não aprende uma nova representação do próprio problema de posicionamento, mas sim uma função substituta
• Há ceticismo em relação ao trabalho da Google, e foi escrito um post detalhado em um site pessoal
• Houve um caso em que pesquisadores da Google sofreram assédio e foram para a Anthropic
  • Artigo relacionado: "Google Brain AI Researcher Fired Tension"
• A TSMC destaca que o software mais recente de automação de projeto de chips pode escolher o projeto lógico para o TDP
  • Isso pode ser uma forma de manter o escalonamento de Dennard
  • A velocidade da luz e a proximidade física continuam importantes, mas fica a dúvida sobre quanto benefício virá de evitar throttling térmico
• Perguntas sobre como medir a qualidade de um projeto de chip
  • Fica a dúvida se as métricas reportadas pela Google são válidas ou se servem apenas para fazê-la parecer melhor
  • A "qualidade" do projeto de chips é multifacetada e depende muito do caso de uso
  • Um chip para data center e um chip para câmera de celular ou para automóvel terão aparências muito diferentes
  • Fica a dúvida sobre o que significa ser "melhor" neste problema/tarefa específico
• Eurisco já foi usado para realizar tarefas de placement e routing, e fazia isso muito bem
  • Eurisco foi usado para projetar frotas de naves de combate no jogo Traveler TCS
  • Eurisco usava posicionamento baseado em simetria aprendido em projetos VLSI
  • Fica a dúvida se as heurísticas do AlphaChip poderiam ser usadas em outros lugares
• O trabalho da Google em projeto de chips é "controverso"
  • Fica a dúvida sobre por que fazem apenas PR sem trazer nada realmente novo
• O problema de muitos artigos de DeepX serem submetidos à Nature em vez de fóruns adequados de CS
  • Se estivessem fazendo um trabalho melhor em projeto de chips, deveriam submeter a ISPD ou ISCA etc.
  • Não se sabe como a Nature lida com esse tipo de artigo
• Fica a dúvida sobre por que continuam usando a expressão "sobre-humano"
  • Algoritmos são usados nessas tarefas; humanos não posicionam trilhões de transistores à mão
• Seria ótimo ter ferramentas para projeto/layout de PCB
• Fica a dúvida sobre quão perto a computação baseada em memória está de passar da pesquisa para produtos competitivos
  • Parece que já chegamos ao ponto de investir de forma muito agressiva para escalar em grande volume experimentos como memristores
  • Está se discutindo quantos novos reatores seriam necessários para data centers de IA