A Meta revelou o MTIAv2, a versão de próxima geração do MTIA (Meta Training and Inference Accelerator) v1, seu acelerador de inferência de IA desenvolvido internamente e apresentado no ano passado. O MTIA é um chip projetado para as cargas de trabalho de IA da Meta, especialmente para modelos de recomendação por deep learning que melhoram diversas experiências em todos os produtos da empresa. À medida que as cargas de trabalho de IA se tornam cada vez mais importantes nos produtos e serviços da Meta, o aumento da eficiência do MTIA deve melhorar a capacidade de oferecer a melhor experiência possível para usuários em todo o mundo.
Este chip MTIAv2 de próxima geração já demonstrou um ganho de desempenho de 3x em quatro modelos principais em comparação com o chip de primeira geração. No nível de plataforma, com o dobro de dispositivos e uma CPU robusta de 2 soquetes, foi possível alcançar 6x mais throughput de serving de modelos e uma melhora de 1,5x em desempenho por watt em relação ao sistema MTIA de primeira geração. Em comparação com GPUs comerciais, o MTIA tem se mostrado altamente complementar para oferecer desempenho e eficiência ideais nas cargas de trabalho específicas da Meta.
Principais características do MTIAv2
As principais características do MTIAv2 são as seguintes:
- Mais que o dobro de desempenho computacional e largura de banda de memória em relação à geração anterior
- Projetado para processar com eficiência modelos de ranking e recomendação
- Composto por elementos de processamento (PE) em uma grade 8x8, com 3,5x mais desempenho em computação densa e 7x mais em computação esparsa
- 3x mais armazenamento local de PE, 2x mais capacidade de SRAM on-chip e 3,5x mais largura de banda, além de 2x mais capacidade de LPDDR5
- Arquitetura NoC (Network on Chip) aprimorada, com 2x mais largura de banda e coordenação entre PEs com menor latência
⚠️Publicidade⚠️ Veja o mesmo texto na comunidade PyTorch em coreano
Ainda não há comentários.