AlphaEvolve: agente de codificação avançado baseado no Gemini para projetar algoritmos
(deepmind.google)- O AlphaEvolve, apresentado pelo Google DeepMind, é um agente de codificação evolutivo que combina modelos Gemini com avaliadores automáticos para descobrir e otimizar algoritmos
- O Gemini Flash explora um espaço amplo de ideias, enquanto o Gemini Pro fica responsável por propostas mais profundas; os programas candidatos são executados, verificados e pontuados, evoluindo para variações promissoras
- Os algoritmos descobertos no último ano foram implantados em escalonamento de datacenters, design de TPUs e otimização do Gemini; no Borg, eles recuperam continuamente em média 0,7% dos recursos globais de computação do Google
- O kernel de multiplicação de matrizes do Gemini ficou 23% mais rápido, reduzindo o tempo de treinamento em 1%, e a implementação do kernel FlashAttention alcançou ganho de velocidade de até 32,5%
- Na área de matemática, ele encontrou um algoritmo que realiza multiplicação de matrizes complexas 4x4 com 48 multiplicações escalares e melhorou a melhor solução conhecida em cerca de 20% de mais de 50 problemas públicos
Como o AlphaEvolve evolui algoritmos
- AlphaEvolve é um agente de codificação evolutivo voltado à descoberta e otimização de algoritmos de uso geral
- Ele acopla avaliadores automáticos à capacidade de resolução criativa de problemas de grandes modelos de linguagem para verificar respostas e usa um framework evolutivo para continuar aprimorando ideias promissoras
- Em 2023, o Google DeepMind mostrou que LLMs podiam encontrar novo conhecimento comprovável em problemas científicos públicos por meio da geração de funções de código; o AlphaEvolve expande isso de uma única função para codebases inteiras e algoritmos mais complexos
- A composição dos modelos divide as responsabilidades entre amplitude de exploração e qualidade das propostas
- Gemini Flash: modelo rápido e eficiente que explora um espaço de ideias mais amplo
- Gemini Pro: modelo mais poderoso que fornece propostas mais perspicazes
- Os programas gerados são executados, verificados e pontuados por métricas de avaliação automáticas, tornando a abordagem especialmente adequada a problemas de matemática e ciência da computação em que é possível avaliar quantitativamente a precisão e a qualidade
Resultados aplicados à infraestrutura do Google
- Ao longo do último ano, algoritmos descobertos pelo AlphaEvolve foram implantados em datacenters, hardware e software do Google
- À medida que otimizações individuais são aplicadas à infraestrutura de IA e computação em larga escala, elas permitem processar mais tarefas com os mesmos recursos
-
Escalonamento de datacenters
- O AlphaEvolve descobriu uma heurística simples, mas eficaz, que ajuda o Borg a coordenar com mais eficiência os datacenters de grande escala do Google
- Essa solução está em produção há mais de um ano e recupera continuamente em média 0,7% dos recursos globais de computação do Google
- Por ser implementada em código legível por humanos, ela também oferece interpretabilidade, facilidade de depuração, previsibilidade e facilidade de implantação
-
Design de hardware
- Ele propôs uma reescrita em Verilog que remove bits desnecessários de circuitos aritméticos altamente otimizados para multiplicação de matrizes
- As modificações propostas precisam passar por um processo de verificação rigoroso para confirmar que mantêm a correção funcional do circuito
- Essa proposta foi integrada a futuras Tensor Processing Units, os aceleradores de IA personalizados do Google
- Ao propor mudanças na linguagem padrão usada por projetistas de chips, ela também se encaixa no modo de colaboração entre IA e engenheiros de hardware
Otimização de treinamento e inferência do Gemini
- O AlphaEvolve encontrou uma forma de dividir grandes tarefas de multiplicação de matrizes em subproblemas menores, tornando um kernel central da arquitetura Gemini 23% mais rápido
- Essa melhoria no kernel reduziu o tempo de treinamento do Gemini em 1% e também diminuiu os recursos computacionais necessários para desenvolver modelos de IA generativa
- O tempo de engenharia dedicado à otimização de kernels caiu de semanas de trabalho de especialistas para alguns dias de experimentos automatizados
- Instruções de GPU de baixo nível também entram no escopo de otimização
- Essa área normalmente já é fortemente otimizada por compiladores, então muitas vezes engenheiros humanos não a modificam diretamente
- Na implementação do kernel FlashAttention para modelos de IA baseados em Transformer, foi alcançado ganho de velocidade de até 32,5%
- Essas otimizações ajudam especialistas a encontrar gargalos de desempenho e integrar melhorias com facilidade à codebase
Matemática e descoberta de algoritmos
- O AlphaEvolve consegue propor novas abordagens para problemas matemáticos complexos mesmo recebendo apenas um esqueleto mínimo de código
- Ao projetar vários componentes de um novo procedimento de otimização baseada em gradiente, ele descobriu novos algoritmos para multiplicação de matrizes
- No exemplo, vários componentes foram alterados, incluindo otimizador, inicialização de pesos, função de perda e busca de hiperparâmetros; o processo evolutivo exigiu 15 mutações
- O procedimento do AlphaEvolve encontrou um algoritmo que realiza multiplicação de matrizes complexas 4x4 com 48 multiplicações escalares
- O resultado melhora o algoritmo de Strassen de 1969, que era a melhor solução conhecida nesse cenário
- O AlphaTensor, especializado em algoritmos de multiplicação de matrizes, encontrou melhorias apenas para aritmética binária em matrizes 4x4
- Ele também foi aplicado a mais de 50 problemas públicos de análise matemática, geometria, combinatória e teoria dos números
- A maioria dos experimentos pôde ser configurada em poucas horas
- Em cerca de 75% dos casos, ele redescobriu soluções de ponta conhecidas
- Em cerca de 20% dos casos, melhorou a melhor solução existente, gerando avanço nesses problemas públicos
- No problema do número de contato, ele descobriu um arranjo de 593 esferas externas em 11 dimensões, estabelecendo um novo limite inferior
Planos de abertura e escopo de aplicação
- O AlphaEvolve mostra uma tendência de expansão para além da descoberta de algoritmos em domínios específicos, chegando ao desenvolvimento de algoritmos complexos para problemas reais
- O Google DeepMind espera que o AlphaEvolve continue melhorando à medida que a capacidade de codificação dos grandes modelos de linguagem avance
- Em conjunto com a People + AI Research team, está construindo uma interface amigável para interagir com o AlphaEvolve
- Está planejando um Early Access Program para usuários acadêmicos selecionados e também avalia possibilidades de abertura mais ampla
- O registro de interesse será recebido por este formulário
- As áreas de aplicação atuais são matemática e computação, mas ele pode ser aplicado a problemas cujas soluções possam ser expressas como algoritmos e verificadas automaticamente
- O Google DeepMind acredita que o AlphaEvolve também pode gerar mudanças em ciência dos materiais, descoberta de medicamentos, sustentabilidade e aplicações técnicas e de negócios mais amplas
- Materiais relacionados
Ainda não há comentários.