Ray - framework unificado para escalar aplicações de IA e Python

• Framework unificado para escalar aplicações de IA e Python
• Composto por um runtime distribuído central e um conjunto de bibliotecas de IA para simplificar a computação de ML
• Oferece recursos como datasets, treinamento distribuído, ajuste de hiperparâmetros, aprendizado por reforço e serving.
• Permite monitorar e depurar aplicações e clusters usando o dashboard
• Pode ser executado em qualquer computador, cluster, provedor de nuvem e Kubernetes

Por que usar o Ray

• As cargas de trabalho de ML atuais são intensivas em computação
• Um ambiente de desenvolvimento de nó único, como um laptop, não consegue atender a esses requisitos
• O Ray
  • oferece uma forma unificada de escalar aplicações Python e de IA do notebook para o cluster
  • permite escalar o mesmo código do notebook para o cluster sem atritos
  • foi projetado para uso geral, permitindo executar com eficiência todos os tipos de cargas de trabalho
• Se a aplicação for escrita em Python, ela pode ser escalada com Ray sem necessidade de outra infraestrutura

Opinião do GN⁺

• O Ray parece ser uma ferramenta poderosa para facilitar o processamento distribuído de aplicações de ML/IA baseadas em Python. Em especial, deve ser útil para construção de pipelines de ML, processamento de grandes volumes de dados e treinamento distribuído
• No entanto, para aplicá-lo em um ambiente de produção, será necessário conhecimento sobre implantação e operação de ambientes de cluster. Para isso, a colaboração com engenheiros de DevOps é importante
• Em comparação com frameworks de processamento distribuído já existentes, como Spark e Dask, o diferencial não fica claro. Parece necessário destacar melhor as vantagens em desempenho ou facilidade de uso
• A maturidade das bibliotecas de IA ainda não é alta, então há riscos em adotá-las de imediato. Ainda assim, se houver desenvolvimento contínuo e suporte da comunidade, a expectativa é que se torne uma ferramenta útil no futuro