DeepSpeed - biblioteca de otimização de deep learning lançada pela MS

• Wrapper leve sobre o PyTorch

• Mudanças mínimas no código, modelos mais de 10 vezes maiores, velocidade mais de 5 vezes maior

• Minimiza a memória usada no treinamento (4x) com a aplicação do Zero Redundancy Optimizer (ZeRO)