Apache Superset - plataforma de exploração e visualização de dados
(superset.apache.org)- O Apache Superset é uma plataforma de análise open source que reúne exploração e visualização de dados em um só lugar, permitindo que usuários com diferentes níveis de experiência trabalhem com dados por meio de gráficos e dashboards
- Oferece um construtor de visualizações sem código junto com uma SQL IDE, para que usuários de negócios e usuários de SQL possam explorar dados à sua maneira
- Conecta-se a bancos de dados baseados em SQL e também pode aproveitar bancos de dados e engines cloud native em escala de petabytes
- Adota uma estrutura leve e escalável que funciona sobre a infraestrutura de dados existente, sem exigir uma camada de ingestão separada
- Dá suporte ao fluxo de análise self-service com mais de 40 visualizações, extensões baseadas em plugins, cache, templates Jinja, filtros de dashboard e camada semântica
Plataforma de exploração e visualização de dados
- Apache Superset™ é uma plataforma open source de exploração e visualização de dados
- Destaca-se por ser rápido, leve e intuitivo, com suporte a diversas visualizações, de gráficos de linha simples até gráficos geoespaciais detalhados
- Os usuários podem explorar dados por meio de um construtor de visualizações sem código ou da SQL IDE
- Pode se conectar a bancos de dados baseados em SQL, incluindo bancos de dados cloud native modernos e engines em escala de petabytes
- Possui uma arquitetura leve e altamente escalável que aproveita a infraestrutura de dados existente, sem necessidade de uma camada adicional de ingestão
- Oferece mais de 40 tipos de visualização pré-instalados e, com uma arquitetura de plugins, também permite criar visualizações customizadas
Documentação por função e comunidade
- User Docs: documentação para analistas e usuários de negócios, cobrindo exploração de dados, criação de gráficos, criação de dashboards e conexão com bancos de dados
- Administrator Guide: documentação para equipes responsáveis pela instalação e operação do Superset, cobrindo instalação, configuração, segurança e drivers de banco de dados
- Developer Guide: documentação para engenheiros que contribuem com o Superset ou desenvolvem funcionalidades sobre a plataforma, cobrindo REST API, extensões e fluxo de contribuição
- Community: oferece recursos da comunidade, como Slack, GitHub, mailing lists e meetups programados
Recursos de análise self-service
- O Superset oferece suporte a um fluxo de exploração de dados e descoberta de insights em dashboards interativos por meio de dashboards, Chart Builder, SQL Lab e Datasets
-
Criação de visualizações e dashboards
- Oferece mais de 40 visualizações pré-instaladas
- Suporta tanto drag and drop quanto consultas SQL
- Fornece cache de dados para reduzir o tempo de carregamento de gráficos e dashboards
- Permite montar dashboards interativos com templates Jinja e filtros de dashboard
- Com templates CSS, é possível ajustar gráficos e dashboards ao look and feel da marca
-
Recursos de ampliação da análise
- Fornece uma camada semântica para transformação de dados em SQL
- Oferece suporte a análises mais profundas com cross-filter, drill-to-detail e drill-by
- Para exploração ad hoc de dados, é possível usar virtual datasets
- É possível acessar novos recursos por meio de feature flags
Organizações usuárias
- O Superset afirma ser usado por milhares de empresas para explorar e visualizar dados
- Como exemplos de organizações usuárias, são exibidos links para Xnet Mobile, UserGuiding, Preset, PlaidCloud, VLMedia e Cirrus Assessment
1 comentários
Opiniões no Hacker News
Usei o Superset com muita satisfação e, depois de substituir o Tableau, não penso em voltar
Demorei um pouco para entender como incorporá-lo ao app com o Superset Embedded SDK. Esse SDK permite colocar dashboards do Superset no próprio app usando a autenticação do app, inserindo no app hospedeiro um iframe que contém a página do Superset
https://github.com/apache/superset/tree/master/superset-embe...
O Superset é baseado na biblioteca de gráficos ECharts, de alta qualidade e bem mantida
https://echarts.apache.org/examples/en/#chart-type-linesG
O roadmap da comunidade também é público
https://github.com/apache/superset/projects?query=is%3Aopen
Tenho muito respeito pela Preset.io e pela equipe por contribuírem com o projeto e o manterem em bom estado
https://preset.io/blog/
O código-fonte do Superset é fácil de ler e entender, então também é possível implementar técnicas avançadas de cache para reduzir a carga dos gráficos. Não existe BI perfeito, mas, depois de acompanhá-lo por alguns anos, passei a confiar que é um projeto que continuará funcionando como pretendido; e parece que, um dia, alguns pacotes poderão ser reutilizados para várias visualizações e hacks de dados
Para visualização, costumo começar primeiro com ECharts e um wrapper simples em React; depois subo o Superset em um subdomínio para power users e vejo qual opção se encaixa melhor. Mantendo a mesma aparência, a experiência do usuário fica bem boa
https://evidence.dev
Discussão anterior no HN: https://news.ycombinator.com/item?id=35645464 (97 comentários)
Usei o Superset alguns anos atrás, e talvez ele tenha mudado, mas intuitivo seria a última palavra que eu usaria
Coisas que eu descobriria em poucos minutos em outras ferramentas de BI literalmente levavam horas para encontrar no Superset. Também não ajudou que eles tenham mudado o nome de conceitos centrais no meio do caminho, deixando metade da documentação online sem fazer sentido. Colegas da empresa que usaram comigo na época tiveram uma impressão parecida
Os usuários de negócio gostaram, eu também fiquei satisfeito, e foi tranquilo administrá-lo com um backend Postgres em vez do banco h2 interno
Você pode subir um banco DuckDB como data warehouse embutido para carregar dados, e mais de 500 conectores trazem automaticamente dados de Postgres, Stripe, HubSpot, Zendesk etc., sem ETL separado
Na camada semântica, você define dimensões, métricas e joins em um só lugar, e também há modelos pré-construídos para cada fonte compatível. Por exemplo, o modelo do Stripe já inclui métricas como MRR e churn
No estilo de BI simples, você cria a tabela de dados que quer e gera visualizações a partir dela. Se tiver dúvidas, pode entrar em contato pelo mike@definite.app
A documentação também é fraca, para dizer o mínimo
Em vez disso, estava cheio de dezenas de erros de runtime em Python e incontáveis defeitos. Hoje, o Metabase está mais perto de ser a resposta certa
Ferramentas completas de BI como Superset ou Metabase são excelentes para os casos de uso pretendidos
Mas, se o uso principal for criar relatórios ocasionalmente semi-interativos para usuários finais não técnicos, e gráficos e tabelas padrão forem suficientes na maioria dos casos, elas podem ser exageradas. Especialmente se você se sente confortável com SQL e tem acesso às fontes de dados originais
Nesses casos, SQLPage e Evidence foram muito úteis. É fácil escrever SQL rapidamente e transformá-lo em uma UI web limpa e com aparência profissional para entregar aos usuários finais. O Evidence é um site de geração estática, e o SQLPage é uma aplicação web conectada a um banco de dados em tempo real
SQLPage: https://sql.ophir.dev/
Evidence: https://evidence.dev
Gosto do Superset
Uso em produção em dois empregos desde 2017, e meu emprego atual é em uma grande empresa
Acho que, como sistema genérico de dashboards baseados em banco de dados, ele é o melhor. Não penso em pagar por Tableau ou Power BI
O mesmo vale para o Airflow
Usar a instância do Superset da Wikipedia permite consultar bancos de dados internos da Wikipedia
https://superset.wmcloud.org
https://phabricator.wikimedia.org/T169452
Antigamente fiz estatísticas personalizadas com isso
https://github.com/altilunium/wikiidmon
Estes são posts relacionados. Fico curioso se há outros
Open source Business intelligence platform made with Python - https://news.ycombinator.com/item?id=29368664 - novembro de 2021 (49 comentários)
Apache Superset 1.1 - https://news.ycombinator.com/item?id=27439939 - junho de 2021 (28 comentários)
The Apache Software Foundation Announces Apache Superset as a Top-Level Project - https://news.ycombinator.com/item?id=25905277 - janeiro de 2021 (1 comentário)
Apache Superset is an enterprise-ready business intelligence web application - https://news.ycombinator.com/item?id=21133931 - outubro de 2019 (7 comentários)
O Superset é poderoso, mas fico me perguntando por que eles não corrigem pequenos incômodos. Por exemplo, o pixel do spinner fica desalinhado, não dá para copiar valores de células de tabela, ou números em tabelas não usam fonte monoespaçada. Há centenas dessas pequenas irritações dentro do produto
É sempre preciso equilibrar entre criar novos recursos que as pessoas pedem e corrigir esses problemas visuais que continuam aparecendo
Fico curioso se alguém já usou tanto Superset quanto Metabase. Usei Metabase em alguns projetos e foi bem bom. O Superset também parece mais poderoso
Fico pensando se vale a pena para BI com datasets pequenos
Escolhemos Metabase porque havia joins de tabelas. Quando usei, o Superset não tinha joins, e não sei se foram adicionados depois. A aparência do Metabase também parece um pouco mais refinada
Ainda assim, pessoalmente prefiro muito mais o Superset. No Metabase, tive que desativar muitos recursos para deixá-lo utilizável, e coisas como transformar “the_table” em “The Table” na exibição, além da opacidade entre modelos e “perguntas”, me incomodavam constantemente. Também era irritante ele tentar criar uma nova pergunta toda vez que eu queria alterar uma pergunta
Especialmente ao tentar mudar a fonte de dados de muitas perguntas, isso era um grande problema, porque não havia uma forma limpa de o Metabase fazer a alteração sem criar uma nova pergunta
Além disso, no Metabase a serialização só é possível pagando e fazendo self-hosting. Se eu mesmo estou hospedando, não sei exatamente pelo que estou pagando, e isso incomoda bastante
https://www.metabase.com/docs/latest/installation-and-operat...
Ainda assim, joins de tabelas são possíveis. Às vezes só isso já faz valer a pena tolerar o Metabase
O Superset é o melhor se olharmos apenas para visualização de dados, mas, com um esquema em estrela já existente, senti que ele era quase inútil para BI self-service por usuários de negócio. Esta issue sobre como fazer joins no Superset, incluindo a bagunça causada pelo stalebot, mostra de relance as dificuldades do Superset BI
https://github.com/apache/superset/issues/8645
O Metabase é bastante bom e definitivamente é uma escolha adequada para startups que querem montar BI de baixo custo rapidamente. Ele ainda tem uma visão muito centrada em tabelas, mas dá a sensação de ter sido feito para BI, mais do que para simples visualização
O Lightdash tem defeitos grandes, como YAML, pivôs feitos no front-end e ausência de agregações simétricas, mas é claramente influenciado pelo Looker, e é fácil apresentar aos usuários de negócio grupos de tabelas prontos para uso. Eu gostava do Looker antes de o Google comprá-lo; nossos usuários de negócio talvez não conhecessem os termos esquema em estrela ou floco de neve, mas estavam acostumados com esse tipo de estrutura, e foi fácil colocar o Lightdash sobre nosso data warehouse existente
Na empresa, usamos bastante o Metabase. Mas o ponto em que todas essas ferramentas parecem fracas é na forma de organizar centenas de dashboards e perguntas
Seria bom se houvesse algo como uma wiki integrada, para criar uma estrutura de navegação melhor. Fico curioso se alguém conhece um bom método
Um método que ajuda é conectar o Metabase ao próprio banco de dados dele e fazer consultas sobre as consultas
select *from report_cardwhere dataset_query ilike '%' || {{query}} || '%'Também dá para fazer join com metadados como autor ou horário da última execução
A gente se esforça muito para manter a estrutura de diretórios das Collections limpa e consistente, mas ainda assim continua difícil
Outra abordagem poderia ser usar um LLM para resumir, etiquetar e agrupar consultas, facilitando encontrá-las
Fico curioso se o Superset também é uma boa ferramenta para quem faz análise de dados sozinho
Por exemplo, tenho alguns bancos de dados sqlite e só quero desenvolver consultas e gráficos. Pesquisei Tableau, Power BI e Superset, mas todos pareceram bem pesados para um usuário individual, e a configuração local também não pareceu muito fácil
Gostaria de recomendações de bons softwares para usuário único, ou de formas de rodar essas ferramentas pesadas com mais conforto
Vejo esses produtos mais como ferramentas de visualização de dados e relatórios, que mostram conjuntos de dados preparados de forma agradável para os usuários. São menos adequados para análises sérias
Não conheço bem Superset ou Tableau, mas o Power BI foi adotado em toda a nossa organização, então estou familiarizado com ele. As estatísticas que dá para fazer no Power BI são bem básicas. Passando de resumos como contagem, média, mínimo e máximo, já não é tão fácil
Para análise de dados, uso SAS ou R. Esses softwares conseguem fazer tarefas como regressão multivariada, previsão de séries temporais, análise de componentes principais e análise de clusters, além de terem recursos de gráficos
Os dois são um pouco antiquados. Uso desde o começo dos anos 2000, e o jeito atual parece ser Python. Quase todo o pessoal recente de ciência de dados da nossa organização usa Python, especialmente bibliotecas como Pandas e Seaborn (https://seaborn.pydata.org/)
Os usuários avançados de Power BI na nossa organização geralmente são de finanças ou RH, e o usam muito para fazer drill-down em números de custos ou mostrar KPIs e métricas principais de forma interativa para a diretoria
Dá para usá-lo como uma aplicação de usuário único, e é assim que você deve usar, a menos que vá incorporá-lo como parte de uma aplicação que esteja criando