Mandala - Salve, consulte e versione cálculos em Python automaticamente

• Framework criado para automatizar o rastreamento de experimentos de ML
• Ao contrário de outras ferramentas de rastreamento de experimentos, transforma a lógica de persistência, consulta e controle de versão em uma parte comum da própria linguagem de programação
• O objetivo é permitir escrever código de cálculo expressivo sem precisar pensar em persistência, como em uma sessão interativa, e ainda assim aproveitar depois todos os benefícios de um repositório com versionamento e capacidade de consulta
• Remove o esforço e a sobrecarga de código necessários para rastreamento de experimentos de ML (e além) usando duas ferramentas de propósito geral:
  1. Decorador @op:
  • Captura entradas, saídas e o código (+ dependências) de chamadas de funções Python
  • Reutiliza automaticamente resultados anteriores e não calcula a mesma chamada duas vezes
  • Projetado para ser composto em programas persistentes de ponta a ponta, possibilitando desenvolvimento iterativo eficiente em Python comum sem precisar pensar no backend de armazenamento
  2. Estrutura de dados ComputationFrame:
  • Organiza automaticamente a execução de código imperativo em um grafo computacional de alto nível de variáveis e operações. Detecta padrões como loops de feedback, ramificações/mesclagens e agregação/indexação
  • Consulta relações entre variáveis extraindo um dataframe em que as colunas são as variáveis e operações do grafo, e cada linha contém os valores/chamadas de uma execução do grafo (que pode ser parcial)
  • Automatiza exploração e operações de alto nível sobre a "teia" heterogênea de chamadas @op