Greenmask - ferramenta para anonimização de banco de dados PostgreSQL e geração de dados sintéticos

• Utilitário open source projetado para backup por dump de banco de dados, anonimização, geração de dados sintéticos e restauração
• Stateless e sem necessidade de alterar o schema do banco de dados
• Projetado para permitir alto nível de customização, com excelente compatibilidade com utilitários existentes do PostgreSQL, além de ser rápido e estável
• Playground: ambiente sandbox configurado com um banco de dados de exemplo dentro de Docker, permitindo testes sem trabalho adicional
• Principais recursos
  • Deterministic transformers: método determinístico de transformação de dados baseado em função de hash, no qual os mesmos dados de entrada sempre geram os mesmos dados de saída. A maioria dos transformers oferece suporte a mecanismo aleatório ou de hash, atendendo à maioria dos casos de uso.
  • Dynamic parameters: cada transformer oferece suporte a parâmetros dinâmicos, permitindo parametrizar o transformer com valores das colunas da tabela. Esse recurso é útil para resolver dependências funcionais entre colunas e atender a restrições.
  • Transformation validation and maintainability: durante a configuração, fornece alertas de validação, diferenças de transformação de dados e diferenças de schema, permitindo monitorar e manter as transformações com eficiência ao longo do ciclo de vida do software. As diferenças de schema ajudam a evitar vazamento de dados quando há alterações no schema.
  • Partitioned tables transformation inheritance: ao definir uma configuração de Transformation uma única vez, ela pode ser aplicada a todas as partições de tabelas particionadas (usando o parâmetro apply_for_inherited), simplificando o processo de anonimização.
  • Stateless: funciona com dumps lógicos e não afeta o schema existente do banco de dados
  • Cross-platform: devido à arquitetura baseada em Go, elimina dependências de plataforma, permitindo compilar e executar facilmente em qualquer plataforma
  • Database type safe: usa drivers de banco de dados para validação de dados e operações de codificação/decodificação, garantindo a integridade dos dados. Com isso, os formatos dos dados são preservados
  • Backward compatible: oferece suporte completo às mesmas funcionalidades e protocolos dos utilitários existentes do PostgreSQL, e os dumps gerados pelo Greenmask podem ser restaurados com sucesso usando o utilitário pg_restore
  • Extensible: os usuários podem implementar transformações baseadas em domínio em várias linguagens de programação ou usar templates predefinidos
  • Integrable: pode ser integrado a sistemas de CI/CD para lidar facilmente com tarefas automatizadas de anonimização e restauração de banco de dados
  • Parallel execution: aproveita recursos de dump e restauração em paralelo para reduzir significativamente o tempo de entrega dos resultados
  • Storage variety: oferece opções de armazenamento de dados local e remoto, incluindo diretórios e armazenamentos remotos de dados como S3
  • Suporte a Pgzip: com a configuração --pgzip, é possível acelerar os processos de dump e restauração por meio de compressão paralela