Um único arquivo de script Python que usei para substituir o Splunk na minha startup

• Aplicação que coleta e analisa automaticamente arquivos de log da AWS e de outros serviços de nuvem
• Como a funcionalidade funciona
  • Usa boto3 (AWS) e arquivos de inventário do Ansible (outras nuvens) para realizar conexões SSH com dispositivos remotos
  • Baixa os arquivos de log especificados, faz o parsing e os coloca em fila para inserção no banco de dados
  • Insere no SQLite as entradas de log processadas da fila de parsing usando SQLAlchemy
  • Processa e analisa as entradas de log armazenadas no banco de dados. Fornece funções para encontrar itens de erro e criar visualizações de dados agregados com base em critérios definidos
  • Obtém e processa dados de atividade de rede de cada máquina remota
  • Compartilha o banco de dados como um aplicativo web usando Datasette

[xguru]

Como acontece com textos desse tipo, é preciso ter em mente que há um certo exagero.
De qualquer forma, talvez não seja perfeito, mas dependendo do uso dá mesmo para substituir sistemas caros por um script simples.
Afinal, adotar uma ferramenta cara não faz com que tudo se resolva sozinho.

Datasette - data warehouse pessoal de código aberto