Cancelamento da conta da Kiwix pela Hetzner e desligamento de todos os servidores
(mastodon.social/@kiwix)- A Kiwix afirmou que, no domingo, 1º de dezembro de 2024, à 00:00, a hospedagem foi interrompida sem aviso prévio, bloqueando o acesso à biblioteca e o download de arquivos
- A causa foi que a Hetzner cancelou a conta da Kiwix e desligou todos os servidores; a Kiwix disse que verificou até a pasta de spam, mas não encontrou aviso prévio
- Na manhã de segunda-feira, conseguiu entrar em contato com a Hetzner, mas não obteve confirmação do motivo do cancelamento, e recebeu a resposta de que o e-mail que a Hetzner disse ter enviado era impossível de reenviar
- Depois que os dados dos servidores já tinham sido apagados, a Kiwix recuperou cerca de 8 TB usando um espelho não afetado e novas máquinas na Scaleway, e levou cerca de 48 horas para voltar a ficar online
- Mesmo no e-mail de cancelamento compartilhado depois, não havia motivo, e a Kiwix disse que vai analisar novos mecanismos de proteção dentro de suas limitações de recursos após o incidente
Serviço da Kiwix caiu à meia-noite de domingo
- Em 1º de dezembro de 2024, domingo, à 00:00, a hospedagem dos servidores da Kiwix foi interrompida sem aviso
- A Kiwix afirmou que, com base nisso, não recomenda o serviço da Hetzner Online
- A interrupção dos servidores ocorreu à meia-noite de domingo, e a Kiwix entendeu que parecia se tratar de um encerramento programado do serviço pela Hetzner
- O backend principal de armazenamento ficou totalmente inacessível
- Usuários comuns não conseguiam acessar a biblioteca nem baixar arquivos
- A própria Kiwix também não conseguia acessar o armazenamento para verificar a causa
Cancelamento da conta e exclusão imediata dos dados dos servidores
- Após a verificação, constatou-se que a Hetzner havia cancelado a conta da Kiwix e desligado todos os servidores
- A Kiwix disse que não recebeu aviso prévio e que também não encontrou nenhuma notificação relacionada na pasta de spam
- No domingo, não havia ninguém disponível para contato, e só na manhã de segunda-feira a Kiwix conseguiu falar com a Hetzner
- O motivo do cancelamento nunca foi explicado
- A Hetzner respondeu que havia enviado um e-mail
- Quando a Kiwix pediu o reenvio, a Hetzner respondeu que não podia reenviar esse e-mail
- Nesse meio-tempo, todos os servidores já haviam sido apagados, e a Kiwix disse que não tinha como recuperar os dados
Recuperação usando espelhos e a Scaleway
- A Kiwix ainda tinha espelhos não afetados
- Novas máquinas foram obtidas com outro provedor, a Scaleway
- Em seguida, os dados começaram a ser trazidos de volta imediatamente para um novo servidor Master
- No total, levou cerca de 48 horas para colocar novamente online aproximadamente 8 TB de dados
Fragilidades operacionais expostas e resposta posterior
- Com esse incidente, a Kiwix identificou alguns pontos frágeis
- Ao mesmo tempo, também confirmou que os responsáveis pela infraestrutura conseguiam virar a situação em um tempo relativamente curto
- A Kiwix disse que, nas próximas semanas ou meses, vai analisar como implementar novos mecanismos de proteção dentro de suas limitações de recursos
E-mail de cancelamento compartilhado tardiamente
- Depois, a Hetzner compartilhou o e-mail de cancelamento
- O e-mail era apenas um aviso simples de que a conta da Kiwix seria encerrada no fim do mês seguinte
- Não havia motivo para o cancelamento, e a Kiwix disse que a redação não dava a entender que ela tivesse violado os termos de serviço da Hetzner
- A Kiwix afirmou que, com esse e-mail, conseguiu encerrar o assunto e seguir em frente
- A Kiwix acrescentou que tornar o problema público na internet teve efeito
1 comentários
Comentários do Hacker News
Quando se pergunta a um CTO se ele tem backups ou um plano B, muitas vezes a resposta é: “Está na AWS, também fazemos backup lá, e não há chance de uma empresa como a AWS falir.”
Então pergunto de novo o que acontece se a conta for encerrada. Por exemplo, se a conta acabar associada a uma empresa que vende itens problemáticos na Amazon por usar o mesmo número de telefone, ou em casos como o de alguns anos atrás, quando o GCP classificou incorretamente imagens no Drive e encerrou a conta
Os backups precisam estar em outro local, e o Terraform também precisa ter sido validado em outro provedor de nuvem. Caso contrário, você está colocando a empresa inteira em risco
Só para acrescentar: não estou tentando culpar a Hetzner em si. Uso há mais de 20 anos e, nesse período, servidores individuais já foram suspensos, mas a conta inteira nunca foi cancelada
Primeiro disseram para sair do on-premises e que o custo não importava; depois disseram que precisávamos ser neutros em relação à nuvem; então, quando o prazo apertou, virou “não importa a dívida técnica, coloquem para rodar na AWS o mais rápido possível”
Agora estão em pânico por causa dos custos da AWS, então, além de desenvolvimento de funcionalidades e manutenção, também temos que lidar ao mesmo tempo com “neutralidade de nuvem” e “redução do custo do serviço em todas as nuvens”. Há tanta dívida técnica e tantos bugs que as duas coisas ficaram 10 vezes mais lentas
Preciso encontrar logo um emprego novo. A diretoria e a alta gerência estão conduzindo a empresa de um jeito terrível. Todo dia aparece uma reação improvisada de alguém desconectado da realidade ou que mal entende como as coisas funcionam, e só aumentam os problemas de processo que pouco ajudam a resolver os problemas de verdade
Normalmente a resposta é algo como: “É uma ferramenta integrada, por que deveríamos presumir que está quebrada?” Então, meses ou anos depois, quando tentam restaurar, descobrem que justamente os dados importantes nunca tinham sido incluídos no backup
No começo deste ano, o Google Cloud apagou por engano toda a implantação em nuvem de um fundo de pensão australiano. Se você quer um backup realmente robusto, acho que no fim ele precisa poder ser reduzido a armazenamento de objetos e ficar na nuvem de outra empresa
Além disso, é bem possível que fique sem testes e acabe inútil justamente quando for mais necessário
Eu fiz manualmente backup de tudo, mas a situação é realmente péssima
Estou deixando isto aqui porque estão circulando informações falsas sobre este caso. Em 30 de outubro de 2024, enviamos por e-mail uma notificação de rescisão, especificando o prazo conforme os termos
Nossa equipe já entrou em contato várias vezes com este cliente e também temos registros da comunicação enviada. Podem ficar tranquilos: não fechamos contas aleatoriamente. Sempre há motivos concretos e justificados, como abuso do serviço, violação dos termos etc.
Portanto, pedimos que cumpram os termos: https://www.hetzner.com/legal/terms-and-conditions/. --Katie, Hetzner Online
Nos últimos anos, houve muita gente online alegando que a Hetzner encerrou contas sem explicar o motivo. Acho que, na maioria dos casos, essas pessoas provavelmente omitiram de propósito algumas partes para não parecer violação dos termos
Ainda assim, como cliente da Hetzner, embora pequeno, eu gostaria de saber que essas reclamações não têm fundamento e que ainda posso confiar nesta empresa
Vocês devem ter nosso endereço, mas, caso ele tenha sido “perdido”, por favor encaminhem o e-mail de 30 de outubro para contact @ kiwix.org
Abaixo está o ponto em que começamos, e deve ser fácil encontrar pelo número de referência:
Especialmente se a notificação foi feita apenas por e-mail, sem confirmação de recebimento e sem tentar outros meios de contato. É procedimento padrão de vocês apagar dados permanentemente assim que o serviço é interrompido?
Backups não são o ponto central aqui. Claro que backups são importantes, mas, se a Hetzner realmente apagou dados de produção sem aviso ou período de carência para migração, então ela não é uma base estável o suficiente para construir em cima
Por esse motivo, nunca me tornei cliente do Google Cloud, e não vou implantar novos servidores na Hetzner até que ela deixe claro o que deu errado e o que fará para que esse erro não se repita
Hetzner, agora a bola está com vocês
“A bola está com a Hetzner” também não é necessariamente verdade. Se você ler os termos, há trechos dizendo que eles podem fazer qualquer coisa com os servidores
A cláusula 2.7 diz que “também se reserva o direito de encerrar a relação contratual sem aviso prévio caso haja justa causa”
Qualquer servidor de qualquer empresa pode fazer a mesma coisa. Há muitas histórias de a Amazon ter feito coisas parecidas, e o Google também
Se não for colocation ou hardware que você possui diretamente, há várias formas de você se dar mal. Nunca confiaria em um host de servidores dedicados
Reclamações de que a Hetzner derrubou o servidor de alguém geralmente eram por hospedar conteúdo que violava os termos de uso, ou por motivos parecidos.
Mas este caso parece ser sobre o Kiwix, que é uma espécie de “Wikipedia offline” em várias formas, e não parece ter relação com conteúdo problemático.
Imagino que a visão da Hetzner também vá aparecer. Normalmente, quando a outra parte começa a escrever publicamente, a Hetzner também passa a escrever publicamente sobre o problema.
Pessoalmente, uso a Hetzner há anos com satisfação, e nunca tive problemas que não fossem culpa minha. Mas a história de servidores apagados no meio da noite de domingo, horário de Berlim, com os dados removidos imediatamente e sem recurso, soa bem agressiva. Felizmente, parece que tanto eu quanto o Kiwix temos mirrors dos dados importantes.
Eles podem ter julgado assim por causa de uma string em algum nome de arquivo arbitrário, ou, como em um caso recente de uma instância do Mastodon, a Hetzner pode ter considerado arriscado só porque usuários podiam enviar imagens. Esse tipo de funcionalidade é comum, e havia moderação e uma estratégia para agir caso conteúdo ilegal fosse publicado, mas o funcionário que analisou naquele dia estava sensível, e não havia meio de contestar.
O usuário primeiro baixa o Kiwix ou uma extensão de navegador e, depois, baixa pelo Kiwix o conteúdo para consulta offline [1].
“Nosso backend principal de armazenamento ficou completamente inacessível. Para usuários comuns, isso significava não conseguir acessar a biblioteca nem baixar arquivos; para nós, significava não conseguir nem nos conectar para ver o que havia dado errado” [2].
Talvez algumas fotos estranhas tenham sido enviadas para a Wikimedia e, ao serem sincronizadas automaticamente para os servidores da Hetzner, tenham acionado algum alerta.
É difícil julgar a parte em que a Hetzner apagou os dados, mas o fato de não terem tentado se comunicar direito com a equipe do Kiwix é uma resposta realmente horrível. Mesmo sabendo que era uma equipe tentando fazer algo bom para o mundo. É do mesmo tipo que o Google bloqueando o acesso de usuários às suas contas sem dizer nada, ou empresas alemãs processando pesquisadores que informam vulnerabilidades de segurança.
A Hetzner deveria ter vergonha.
[0] https://en.wikipedia.org/wiki/Kiwix#Available_content
[1] https://en.wikipedia.org/wiki/Kiwix#Description
[2] https://mastodon.social/@kiwix/113622081750449356
Espera, a Hetzner realmente apagou todos os dados sem aviso?
Isso é uma loucura e pode matar um negócio. Pode ser fatal tanto para a reputação da Hetzner quanto para os clientes.
Mas é barata, e a maioria das pessoas provavelmente não vai encontrar reclamações online quando tentar pesquisar sobre a empresa, então, infelizmente, parece que não houve grande impacto.
Assusta a realidade de que a Hetzner tem esse poder e pode apagar dados de forma irrecuperável.
No ano passado, configurei errado a porta de um serviço Docker, e alguém explorou isso para rodar um scanner de portas. Como eu estava fora de casa, se não tivesse visto a tempo o e-mail sobre abuso do serviço, poderia ter voltado alguns dias depois e encontrado todos os dados apagados, ou meus monitores de disponibilidade enlouquecidos.
Empresas alemãs têm um suporte ao cliente péssimo. Mesmo dentro da UE.
Não tenho uma conta no Mastodon para responder diretamente, então deixo isto para a pessoa que precisa ouvir
Eu também já tive problemas com conteúdo removido por um provedor de VPS
O que funcionou bem foi usar um provedor de VPS pouco conhecido do público. Por um tempo usei a OVH por causa da banda ilimitada e porque a Wikipedia e Julian Assange usavam OVH. Não sei se ainda é assim; depois disso, movi o conteúdo para ENS e IPFS
De qualquer forma, onde quer que o conteúdo real estivesse hospedado, transformei meu servidor “real” na origem do conteúdo e o escondi para que não fosse visível externamente. Tranquei com firewall para que só fosse acessível a partir de servidores proxy Squid descartáveis com um arquivo de configuração de 10 linhas
Então apontei DNS, Cloudflare etc. para os nós Squid, e não me importava se esses nós caíssem. Afinal, eu podia implantar outros em outro lugar em poucos minutos
Não é que houvesse “conteúdo ruim”; eu só tinha um concorrente comercial implacável que ficava atacando sem parar, tipo Tonya Harding. Seu conteúdo também não parece tão agressivo, então compartilho isso
Nos nós VPS de front-end, basta colocar o endereço real do conteúdo como origem remota. Assim, ninguém além de você saberá onde ele fica
Com isso, em geral a empresa de hospedagem também não saberá do que se trata, a menos que fuce nos arquivos. Se fizer isso, aí eles também estarão acabados
Pode repassar isso como uma forma de evitar censura, ou guardar para si como informação proprietária. Se precisar de exemplos de configuração do Squid, me avise. De verdade, são no máximo 10 linhas, e há muitos exemplos no Google
A latência também aumenta bastante, há mais um ponto de falha, e você precisa sincronizar os IPs do “front-end” no servidor “real” para permitir acesso. Além disso, precisa encontrar dois provedores confiáveis: um para a hospedagem “real” e outro para a hospedagem “de front-end”. Se usar o mesmo provedor, terá o mesmo problema do post original
Se isso funciona bem para você, ótimo e parabéns, mas é difícil ver como isso resolveria o problema de muita gente. Até duvido que resolva de fato o seu problema; no fundo, é parecido com usar algo como Cloudflare/Akamai, só que montando manualmente um proxy em um VPS
Esta não é a primeira vez:
Também tive uma experiência negativa aqui. Quando alguém envia uma solicitação por violação de direitos autorais, a Hetzner não entra em contato primeiro com o cliente. Simplesmente derruba o servidor imediatamente e exige uma resposta
Naturalmente, isso não é um procedimento minimamente sensato, e eu não poderia recomendar a Hetzner para nenhum sistema em produção
Toda vez que vejo um post sobre a Hetzner no HN, fico irritado. Uma empresa dessas deveria estar em uma blacklist, não recebendo divulgação
E também fico curioso sobre do que se tratava o site. Eu também já recebi notificações dizendo que eu precisava responder em até 24 horas, caso contrário o servidor seria removido. Mas sempre respondi e cumpri, então o servidor nunca foi removido
Se você não remove, a coisa desce para a infraestrutura. Você pode remover uma postagem, mas o provedor de hospedagem não consegue remover só a postagem; ele consegue derrubar o servidor. E é isso que deve fazer. Se não fizer, corre risco de multas ou prisão
Agora precisamos saber a história completa. Havia um link público para solicitações de remoção DMCA e você de fato processava as solicitações, mas o denunciante ignorou isso e foi direto à Hetzner? Ou você estava rodando um servidor com conteúdo gerado por usuários e meio que tratou isso como “vai ficar tudo bem”?
Não estou dizendo que você está errado, mas você está contando só uma parte muito pequena da história
A Hetzner congelou minha conta porque eu devia 0,02 euro
Eu não conseguia pagar com cartão de crédito VISA, cartão de débito VISA ou Amex, e eles exigiram uma transferência bancária. Só que meu banco não permitia uma transferência de 0,02 euro porque o valor era baixo demais
Construí meu próprio data center por pura teimosia
Se houver detalhes que você possa compartilhar, eu gostaria de ouvir
As pessoas não gostam de ouvir isso, mas o suporte da Hetzner é péssimo
Mantivemos uma conta por 2 anos e usamos vários servidores de leilão; precisamos entrar em contato com o suporte algumas vezes, e todas as conversas começavam com “isso não é algo em que possamos ajudar”
Supostamente, eles só ajudavam em casos de falha, mas mesmo em problemas técnicos reais, como NVMe ficando tão lento a ponto de quase travar ou problemas temporários de rede, eles agiam ao máximo como se dissessem “não nos importamos”
Por isso encerramos a conta no mês passado
Nem consigo imaginar a dor que teria sido se tivessem apagado todos os nossos dados como fizeram com o OP