Técnicas para compartilhar dados mutáveis entre Rust e Python usando PyO3

Conclusão (Conclusion)

O fato de o PyO3 não conseguir expor diretamente ao Python structs que usam lifetimes do Rust pode parecer uma limitação à primeira vista. Mas a biblioteca padrão do Rust e o PyO3 oferecem ferramentas poderosas para superar essa limitação. std::mem::take e std::mem::replace permitem lidar com referências mutáveis (mutable reference) e valores com posse (owned value) de forma elegante, enquanto Arc e Mutex são muito úteis para expor ao Python dados mutáveis compartilhados. Em especial, o MutexExt do PyO3 é uma ferramenta essencial para evitar deadlocks ao usar mutexes junto com Python.

---

Resumo dos principais pontos

Este documento explica, passo a passo, os problemas técnicos encontrados e o processo de resolução ao compartilhar dados mutáveis entre Rust e Python em um projeto que reimplementa a linguagem de templates do Django em Rust.

• Contexto: a linguagem de templates do Django fornece dados dinâmicos aos templates usando um objeto chamado context. Na implementação em Rust do projeto, esse context foi definido como uma struct Rust e precisa ser passado como uma referência mutável (&mut Context) ao renderizar tags de template.

• Problema inicial: é necessário passar a referência mutável (&mut Context) do código Rust para uma função Python para executar tags customizadas. Porém, o Python não entende os lifetimes do Rust, e o PyO3, biblioteca de integração Rust-Python, exige valores com posse (owned value), então passar a referência diretamente gera erro de compilação.

• Processo de solução:

  1. Resolvendo o problema de posse: usa-se std::mem::take para tomar temporariamente a posse a partir de &mut Context e criar um objeto Context com posse, que pode ser passado ao Python. Depois da execução do código Python, tenta-se usar std::mem::replace para recolocar o Context processado na posição original da referência.
  2. Resolvendo o erro de "Moved Value": porém, nesse processo, ao tentar reutilizar o objeto Context depois que ele foi movido (move) para a função Python, ocorre o erro de compilação "use of moved value". Para resolver isso, introduz-se Arc (Atomic Reference Count) envolvendo Context. Assim, é possível passar ao Python uma referência clonada (clone) sem transferir a posse.
  3. Tratamento quando o Python mantém a referência: se o Python continuar mantendo uma referência a Context, a recuperação da posse com Arc::try_unwrap pode falhar. Nesse caso, implementa-se um método de fallback como clone_ref, que faz uma cópia profunda (deep clone) dos dados internos de Context.
  4. Permitindo alteração dos dados no Python: por fim, para que o código Python não apenas leia, mas também possa alterar Context, introduz-se Mutex. Com a estrutura Arc<Mutex<Context>>, garante-se acesso e modificação seguros dos dados em múltiplas threads. Nesse ponto, para evitar deadlocks com o interpretador Python, usa-se o método lock_py_attached de MutexExt, fornecido pelo PyO3.