17 pontos por xguru 2021-05-04 | 1 comentários | Compartilhar no WhatsApp

Exemplos de uso de SQL para análise de dados em vez de Pandas

  • Comparação de desempenho/memória entre SQL e Pandas

  • Básico

→ Common Table Expressions

→ Geração de dados

→ Geração aleatória

→ Seleção aleatória

→ Amostragem

  • Estatísticas descritivas

  • Criação de subtotais: Rollup, Cube, agrupamento

  • Agregação acumulada: funções de janela, Sliding Window

  • Regressão linear

  • Interpolação

  • Binning

1 comentários

 
xguru 2021-05-04

Em vez de substituir toda a análise de dados, parece mais adequado encarar isso como um uso de SQL para fazer o pré-processamento, reduzir os dados e deixar o Pandas, que consome muita memória, mais leve.