Criei um registro de modelos semânticos.

Olá. Como é a primeira vez que apareço por aqui, estou até tremendo ao escrever este texto.

Objetivo

Este serviço foi criado a partir de uma ideia que tive ao ler o texto https://pt.news.hada.io/topic?id=26967 [ Data Engineering após a IA ].
É um serviço que pretendo construir com foco no formato OSI, para permitir importar, exportar e pesquisar vários formatos de modelos semânticos.

Motivo para criar

Achei que as discussões sobre modelos semânticos estão aumentando gradualmente. Nesse processo, o formato acordado por várias empresas é o OSI (Open Semantic Interchange), e a versão 1.0 foi lançada recentemente.

Ainda é incerto se isso realmente se tornará um padrão, mas decidi criar isso querendo contribuir para um projeto internacional ao resolver primeiro a cadeia de fornecimento antes que surja a demanda. (No entanto, deixei um pouco de lado a avaliação sobre se realmente existe demanda por esse aspecto de compartilhamento de ativos semânticos.)

Funcionalidades

As funcionalidades foram desenvolvidas em três áreas: Python SDK, CLI e web, e todas têm os mesmos recursos.

• Quero permitir importar modelos semânticos já existentes, como o dbt metric flow, e convertê-los para o formato OSI, ou fazer o caminho inverso também.
  Também estou pensando em como complementar o contexto que pode se perder no processo de conversão.
• Além disso, não quero que termine em uma busca simples; depois da busca, também pretendo adicionar recursos de conveniência para facilitar a visualização de preview, measure, dimension etc.
• E, quando uma camada semântica já existente no GitHub for indexada, há uma função para reivindicá-la e trazê-la como sua própria publicação caso o autor original e o ID do GitHub sejam os mesmos.

Stack

Na busca usei OpenSearch, para gerenciamento de infraestrutura usei Terraform, e no backend usei FastAPI.

---

Conto com vocês.