Consultando o CloudWatch Logs com Athena
(engineering.ab180.co)-
Pontos fracos do CloudWatch Logs
- Mesmo usando o Logs Insights, há partes difíceis de resolver
-
Tentativa de consultar o CloudWatch Logs com Athena Federated Query
-
a consulta demorava demais
-
era difícil fazer troubleshooting por causa de logs de erro pouco claros e da documentação pouco amigável
-
-
No fim, usei o método clássico: descarregar para o S3 com Firehose e consultar com Athena
-
Pontos considerados nesse método
-
Firehose dynamic partitioning
-
Athena partition projection
-
Firehose buffer size & interval
-
-
Cuidados
-
limite na quantidade de CloudWatch Logs subscription filters
-
formato do log
-
custo
-
-
-
IaC
- fazendo terraforming do DDL da tabela do Athena
4 comentários
Usei uma lista com marcadores em vários níveis, mas a formatação está quebrando... tentei tanto com whitespace quanto com tab, mas deu no mesmo, então por enquanto deixei assim mesmo. Peço a compreensão de vocês.
Ah, isso não funciona agora. Vamos oferecer suporte a Markdown depois, então por favor aguarde um pouco~
Ah, estou animado! Sou sempre muito grato e tenho aproveitado muito bem o serviço.
Tentei novamente depois de adicionar um comentário, mas não consigo apagar o post. Pelo visto, se houver comentários, não dá para apagar o post.