Avanços em técnicas de aprendizado de máquina para aprendizado de máquina

Otimização de compiladores de ML

• Compiladores de ML são rotinas de software que convertem programas escritos por usuários em instruções que podem ser executadas no hardware real.
• Programas de ML podem ser representados como grafos computacionais, em que os nós representam operações em tensores e as arestas representam o fluxo de tensores.
• Compiladores de ML precisam resolver diversos problemas complexos de otimização, incluindo otimizações no nível de grafo e no nível de kernel.

Conjunto de dados TpuGraphs

• O objetivo é melhorar compiladores de ML para aumentar a eficiência de modelos de ML.
• Um modelo de custo treinado é acoplado ao compilador para receber como entrada o programa e a configuração do compilador, e produzir o tempo de execução estimado do programa.
• O conjunto de dados TpuGraphs foi lançado para modelos de custo treinados em programas executados nas Tensor Processing Units (TPUs) personalizadas do Google.

Competição no Kaggle

• A competição "Fast or Slow? Predict AI Model Runtime", usando o conjunto de dados TpuGraph, foi encerrada com a participação de 792 pessoas e 616 equipes.
• Os participantes usaram várias técnicas novas, como poda/compactação de grafos, valores de padding de atributos, atributos de nós e atenção entre configurações.

Expo da NeurIPS

• Se você tem interesse em pesquisas sobre dados estruturados e inteligência artificial, vale acompanhar o painel da NeurIPS Expo "Graph Learning Meets Artificial Intelligence", realizado em 9 de dezembro.

Opinião do GN⁺

• A otimização de compiladores de ML é uma área importante que pode melhorar significativamente a velocidade de execução e a eficiência de modelos de ML.
• Recursos como o conjunto de dados TpuGraphs ajudam a impulsionar pesquisas em otimização de programas baseada em ML e contribuem para melhorar o desempenho de sistemas de ML.
• A competição no Kaggle funciona como uma plataforma que promove colaboração e inovação na comunidade de ML, ajudando participantes a compartilhar e desenvolver novas abordagens e técnicas.

[GN⁺]

Comentários do Hacker News

• Supervalorização dos compiladores de ML

  Os compiladores de ML estão sendo supervalorizados. Assim como os compiladores tradicionais, existem trade-offs e, embora tenham maior throughput do que contratar programadores especialistas em performance, estes últimos muitas vezes conseguem desempenho muito superior. Os compiladores de ML são inferiores em vários níveis: algoritmicamente, não fornecem feedback sobre como modificar a rede, há perda de intenção e geram kernels ineficientes. Em comparação com programadores especialistas em assembly, o desempenho dos compiladores fica mais de 30% abaixo.

• Estado atual e promessa dos compiladores de ML

  Pergunta sobre o estado atual dos compiladores de ML e suas promessas de curto prazo.

• Melhoria da previsão de desempenho em tempo de execução de grafos computacionais

  Resumo sobre a melhoria de métodos para prever o desempenho em tempo de execução de grafos computacionais usando GNN. Utiliza um dicionário de embeddings para o opcode de cada nó e outras características dos nós, além de divulgar diferentes configurações de compilação do XLA em TPU e o conjunto de dados de desempenho correspondente. Para melhorar as previsões em grafos maiores, usa particionamento de grafos (particionamento de grafos METIS) e outros métodos de treinamento. Isso está relacionado apenas à previsão de desempenho, e não a melhorar ou propor novos grafos equivalentes.

• Pergunta sobre o projeto Gemini

  Pergunta sobre o estado atual do projeto Gemini.

• Pedido de explicação sobre como convolução (conv) funciona no grafo

  Pedido de explicação sobre como a operação de convolução é realizada em um tensor de determinada forma.

• Se os transformers são ótimos

  Pergunta sobre se há indícios de que os transformers sejam ótimos de alguma forma.

• Opinião sobre o primeiro parágrafo

  Opinião de que o primeiro parágrafo obscurece o ponto principal, mas, fora isso, o conteúdo é interessante.

• Admiração com a velocidade de avanço do ML

  Opinião de que o ML está avançando a uma velocidade impressionante atualmente e, embora a pessoa não acredite na singularidade, isso está mudando software e sociedade de maneiras imprevisíveis.

• [Comentário sinalizado]

  Dois comentários foram sinalizados e seu conteúdo não pode ser visto.