- Biblioteca de tensores de alto desempenho e framework de deep learning em Rust para computação numérica, inferência de modelos e treinamento
- Mantém o desempenho de otimização no nível de frameworks de grafo estático, ao mesmo tempo em que garante flexibilidade dinâmica
- Suporte a múltiplos backends de GPU/CPU
- GPU: CUDA, ROCm, Metal, Vulkan, WebGPU, LibTorch, Candle etc.
- CPU: baseado em CubeCL, NdArray, Candle e LibTorch
- Também pode operar em ambientes Wasm e no_std
- Projetado com foco na trait Backend, com uma estrutura de backends intercambiáveis para diversos hardwares e ambientes de runtime
- Decorator de backend Autodiff: adiciona diferenciação automática a todos os backends
- Decorator de backend Fusion: recurso de fusão de kernels
- Backend Router: suporte à distribuição de operações entre múltiplos hardwares, como CPU e GPU
- Backend Remote: permite operações distribuídas e execução remota pela rede
- Suporte integrado para todo o processo de treinamento e inferência
- Monitoramento de treinamento em tempo real com dashboard de terminal baseado em Ratatui
- Pode ser implantado com o mesmo código, de dispositivos embarcados até grandes clusters de GPU
- Reaproveitamento de modelos existentes com importação de modelos PyTorch, Safetensors e ONNX
- Inferência no navegador com base em WebAssembly e WebGPU
- Suporte a ambientes no_std, permitindo execução até mesmo em dispositivos embarcados sem sistema operacional
- Distribuído sob licença dupla MIT/Apache 2.0
2 comentários
Estou curioso para saber como fica o desempenho em comparação com o PyTorch.
Rust, Wasm, WebGPU, são nomes bem-vindos.