Alguém opera em larga escala sem usar tecnologia de contêineres?
(news.ycombinator.com)Perguntas e respostas publicadas no HN
- Operando com Nix milhares de núcleos de CPU e centenas de tipos de pipelines de dados que processam petabytes de dados por mês
- O WhatsApp operava em servidores bare metal com FreeBSD antes de ser adquirido pelo Facebook. BEAM e o código da aplicação eram distribuídos com
rsync - O Grooveshark atendia 45M de MAU com apenas um pequeno número de servidores físicos.
nginx+ PHP + MySQL + Memcached + servidor de mensagens em tempo real escrito em Go - Em 2010, o sistema de análise do MySpace rodava em 14 instâncias EC2, e o serviço de streaming da ESPN também lidava com milhões de acessos simultâneos usando apenas VMs. Um site com 45M de visitantes mensais também rodava em uma única instância EC2
→ K8s + Docker são muito mais pesados do que se imagina - A Fly.io oferece contêineres aos clientes, mas não usa muitos contêineres em sua própria infraestrutura (exceto servidores de API voltados aos clientes etc.)
- O Guardian usa centenas de instâncias EC2 instalando imagens EC2 criadas a partir de imagens oficiais (montado antes de o Docker se tornar o padrão de fato). Consideraram migrar para Docker, mas como a stack é baseada em JVM, usar Docker não traz grandes vantagens
- Gerenciando cerca de 200 servidores em bare metal com Ansible. As imagens são gerenciadas com boot PXE. Usam uma imagem customizada do Arch Linux com alguns scripts, e isso funciona bem há 20 anos
- O Stack Overflow não usava contêineres até 2016
- Usando FreeBSD Jails e uma ferramenta leve de orquestração escrita em Rust. Operam centenas de máquinas Ryzen de 64 núcleos, com custo cerca de 1/6 do que seria na Amazon e desempenho muito superior
3 comentários
Uso Docker pela praticidade na administração, mas o Kubernetes é exagerado na maioria dos casos. Mesmo operando vários nós, acredito que na maior parte das situações o nível do Docker Swarm já dá conta de tudo.
Este é um post que vi recentemente no HN.
Por outro lado, são dicas para operar o Kubernetes com alto desempenho.
https://medium.com/pinterest-engineering/…
A definição de grande escala pode variar, mas HPC de qualquer forma era operado com base em bare metal..
No meu emprego anterior, cheguei a operar uma configuração de HPC equivalente a 50 racks de 42U.
Era uma questão de operação. Quando surgia um problema, em vez de procurar apenas no HW existente, SO, Grid Engine e script do usuário,
não havia motivo para ampliar o escopo até o contêiner...