Declaração sobre a interrupção em andamento no SourceHut

Disponibilidade atual do serviço

• sr.ht: offline
• meta.sr.ht: offline
• git.sr.ht: offline
• hg.sr.ht: offline
• todo.sr.ht: offline
• lists.sr.ht: offline
• paste.sr.ht: offline
• man.sr.ht: offline
• pages.sr.ht: offline
• builds.sr.ht: offline
• chat.sr.ht: offline
• O armazenamento de objetos está indisponível no momento, e por isso os lançamentos anexados às tags do git e do hg também não estão disponíveis atualmente.
• O hg.sr.ht tem problemas de desempenho conhecidos e problemas relacionados a hg clone; como é mantido pela comunidade, o trabalho de recuperação está suspenso até que um mantenedor da comunidade possa participar.

Atualização 2024-01-13 14:17 UTC

• É necessário encontrar um novo provedor de trânsito, e estão em negociação com o provedor para mitigar o problema.
• O trabalho de engenharia deve começar em breve, e haverá novo aviso se houver mais atualizações.

Atualização 2024-01-13 13:00 UTC

• O novo provedor de trânsito informou que o ataque DDoS acompanhou a migração para a nova rede.
• O provedor implantou medidas de mitigação, e não se espera interrupção do serviço.

Atualização 2024-01-13 12:40 UTC

• O serviço de e-mail para lists e todo foi restaurado.
• Os e-mails que ficaram na fila durante a interrupção agora voltarão a ser processados, e não se acredita que e-mails tenham sido perdidos.

Atualização 2024-01-13 11:42 UTC

• O pages.sr.ht foi colocado em operação em modo somente leitura.
• Todos os domínios personalizados devem voltar a funcionar em breve, exceto os que usam registros apex.
• Os usuários afetados precisarão de intervenção manual.

Atualização 2024-01-13 11:00 UTC

• O acesso de leitura/gravação foi ativado para a maioria dos serviços.
• O hg continua em modo somente leitura, e todo e lists processam solicitações pela web, mas o sistema de e-mail ainda está em andamento.

Atualização 2024-01-13 09:26 UTC

• O hg.sr.ht foi colocado em modo somente leitura.
• Está em andamento o trabalho para ativar leitura/gravação nos serviços que estarão disponíveis hoje.
• O trabalho de importar as diferenças do backup de git.sr.ht foi concluído, e as diferenças do hg também devem ser finalizadas em breve.

Atualização 2024-01-12 20:49 UTC

• O trabalho final nas metas de hoje está em andamento.
• Sete serviços principais estão operando em modo somente leitura.
• Os problemas anteriores relacionados a git clone/fetch também foram resolvidos.

Atualização 2024-01-12 16:38 UTC

• todo e lists foram colocados online em modo somente leitura.

Atualização 2024-01-12 16:13 UTC

• Alguns serviços começaram a ser trazidos de volta online.
• meta e git devem ficar disponíveis conforme a propagação do DNS.

O que é o SourceHut?

• SourceHut é uma empresa fundada por Drew e está atualmente fora do ar.
• Conhecido por sua confiabilidade, o SourceHut está enfrentando desta vez sua interrupção mais grave e prolongada.
• A equipe do SourceHut está fazendo todo o possível para resolver o problema e restaurar o serviço o mais rápido possível.

O que está acontecendo?

• Em 10 de janeiro às 06:30 UTC, começou um ataque distribuído de negação de serviço (DDoS) contra o SourceHut.
• O SourceHut consegue lidar com ataques DDoS comuns, mas este ataque ultrapassou a escala que ele consegue mitigar por conta própria.
• O provedor de rede upstream bloqueou completamente o SourceHut, impedindo tanto a internet quanto a equipe do SourceHut de acessar os servidores.
• O datacenter PHL foi afetado, e o SourceHut aluga espaço de colocation de um fornecedor em PHL.
• Como o fornecedor de PHL passou por duas aquisições, a conta do SourceHut foi omitida durante a migração do sistema de tickets, o que inicialmente atrasou o contato com o fornecedor.
• A disponibilidade do SourceHut foi parcialmente restaurada na noite de 10 de janeiro, mas no início de 11 de janeiro o DDoS se ampliou e o fornecedor voltou a impor o bloqueio.

Que medidas estão sendo tomadas?

• O SourceHut mantém três sites (PHL, FRE, AMS), e o PHL é o principal, estando atualmente offline.
• Como o acesso ao PHL ficou totalmente indisponível, foi iniciada em AMS a restauração a partir de backups para uma instalação paralela do SourceHut.
• A perspectiva quanto à perda de dados dos usuários é positiva, e os backups são executados e testados regularmente.
• Os serviços do SourceHut estão sendo restaurados em AMS, e meta, todo, lists, paste e o hub de projetos estão totalmente operacionais com os dados do ambiente de produção.
• A prioridade é restaurar serviços como git.sr.ht, hg.sr.ht, pages.sr.ht, chat.sr.ht, man.sr.ht e builds.sr.ht.
• O objetivo é ativar o acesso somente leitura para a comunidade o mais rápido possível e depois restaurar o acesso completo de leitura/gravação.

Como você pode ajudar?

• O mais necessário é paciência e compreensão.
• Mitigar ataques como este é uma maratona, e é preciso tomar cuidado para não sobrecarregar a equipe.
• É possível compartilhar atualizações e mensagens de apoio no Mastodon e no canal IRC #sr.ht da Libera Chat.

Opinião do GN⁺:

1. A situação atual do SourceHut é um acontecimento importante para a comunidade de código aberto e para desenvolvedores, mostrando a vulnerabilidade de serviços confiáveis e a importância de planos de resposta a emergências.
2. Este incidente destaca a gravidade dos ataques DDoS e a necessidade de as empresas se prepararem para ciberataques em larga escala.
3. A comunicação transparente da equipe do SourceHut e seus esforços para resolver o problema transmitem confiança aos usuários e mostram que o apoio e a paciência da comunidade têm um papel importante.

[GN⁺]

Opiniões no Hacker News

• Recentemente, um serviço que operamos sofreu um ataque DDoS; pouco antes, uma agência policial indiana havia solicitado dados de um usuário específico
  Alegaram que era relacionado a terrorismo e, quando explicamos nossa política de que, na nossa jurisdição, seria necessário um longo processo legal, o serviço caiu em questão de horas e ficou fora por cerca de 12 horas
  Não houve pedido de resgate, e as únicas causas possíveis eram três: a polícia/governo da Índia, o usuário original ou uma coincidência total
  Quando você passa por algo assim, pensa “isso não deveria ser possível”, e fica claro que, seja por deixar o problema sem solução ou por explorá-lo diretamente, é um jogo excessivamente favorável ao lado mais forte

  • Fico curioso sobre o quanto dá para ter certeza de que a solicitação veio de fato da polícia indiana
    Será que não poderia ter sido outra pessoa que ficou irracionalmente irritada por não receber os dados que queria?
  • Nós também sofremos DDoS recentemente e, toda vez, fico me perguntando quem se beneficia disso, ou quem sequer teria interesse em nós
    Não dá para saber se é um concorrente, alguém só entediado ou um cliente insatisfeito, e provavelmente nunca saberemos
  • Importa saber qual era a agência policial
    Há também organizações militares e de segurança interna com “Police” no nome, como CRPF ou ITBP, e, se for subordinada ao MHA, não surpreende que caia na categoria de “segurança nacional”
  • O surpreendente é que esse serviço aparentemente ainda não tinha algum tipo de proteção contra DDoS
    Para serviços públicos, isso é praticamente padrão há 10 ou 20 anos; se for um serviço pequeno, o Cloudflare é gratuito ou barato, e há muitas outras opções
    O mais correto é assumir que você pode sofrer um DDoS aleatório logo após o lançamento; mesmo que descubra quem é o atacante, a chance de rastreá-lo e puni-lo é quase nula
    A conclusão aqui não é tanto “isso não deveria ser possível”, mas sim “isso é comum há décadas e continuará acontecendo, então é preciso se preparar para a próxima”
    Seja uma agência local corrupta ou um script kiddie, enquanto metade do mundo estiver conectada por dispositivos péssimos, DDoS continuará acontecendo
  • Acho improvável que a polícia indiana seja competente o bastante para fazer DDoS contra esse serviço

• Na minha primeira semana em uma [grande hospedagem pública de código], fomos atacados por um [ator estatal], provavelmente porque hospedávamos algo de que [país] não gostava
  O fato de SourceHut e Codeberg estarem recebendo esse tipo de atenção também é um sinal animador de que hospedagens alternativas de código estão começando a ganhar tração real

  • Fico curioso sobre como descobriram que era [país]
    Não sei se houve uma ameaça explícita ou alguma mensagem com exigências, tipo “se vocês não fizerem isso…”

• Interessante saber por que o HN caiu
  O texto diz: “Vocês devem ter visto que o Hacker News caiu em 10 de janeiro; acredito que isso foi resultado de uma resposta excessivamente grosseira da Cogent durante a mitigação do DDoS direcionado ao SourceHut”
  Também estava em https://news.ycombinator.com/item?id=38939532, mas eu não tinha visto antes

  • Fico confuso com a ideia de a Cogent ter colocado o endereço IP do SourceHut em blackhole e como isso teria afetado o endereço IP do HN
    Os dois estão em alocações de IP e ASNs completamente separados
  • Em certo ponto, às vezes a única opção restante na defesa contra DDoS é o blackholing acionado remotamente nos roteadores de borda
    Como resultado, toda a rede /24 deixa de ser roteada para a própria rede e é descartada pelo peer
  • Considerando que Drew não gosta do Hacker News, ainda assim é inesperado que ele tenha incluído essa menção

• É uma pena que a equipe tenha que lidar com isso, mas, como exemplo de comunicação com os clientes, é excelente; quero aplaudir

• Espero que a equipe do sr.ht conclua bem a migração para AMS
  Felizmente, o git é distribuído o suficiente para que, nos últimos dias, eu tenha conseguido fazer praticamente tudo; a única coisa que não consegui foi enviar um novo release para o repositório upstream oficial

  • Como o SourceHut não esconde de forma superprotetora o git send-email dos usuários, o desenvolvimento colaborativo feito nessa plataforma é especialmente bem estruturado para continuar funcionando
  • Você quis dizer migração para AWS?
    Se sofrerem DDoS na AWS, mesmo que a Amazon absorva o tráfego, Drew e o SourceHut provavelmente vão à falência
    Além disso, há as questões de princípio que eles têm com a AWS desde o início

• Ao ver o trecho “conversamos com a CloudFlare, mas nos apresentaram um valor financeiramente inviável”, fico pensando se alguém da alta cúpula dentro da Cloudflare poderia elevar esse caso e ajudar com uma cotação adequada

  • Parece que muita gente não sabe que boa parte dos serviços gratuitos/de baixo custo da Cloudflare é centrada em HTTP
    Os recursos que lidam com vários protocolos ficam nos planos empresariais, de onde eles tiram dinheiro
  • O fato de uma cotação ser cara não significa que ela não seja adequada
    A CloudFlare teria que fazer isso de graça como publicidade, ou então cobrar de acordo com uma cotação correta
  • Não sei por que deveríamos esperar que a Cloudflare arque com o custo no lugar do SourceHut
  • Pode ser porque o preço do Cloudflare Spectrum, que protege serviços não HTTP como SSH, é absurdamente caro
  • Fico curioso sobre por que não divulgam a cotação
    Outras empresas poderiam oferecer condições melhores

• Se Godot, Codeberg e SourceHut foram atingidos, há outros sites também?
  Parece que alguém está mirando sites relacionados a código aberto

  • Talvez alguém esteja demonstrando sua capacidade de DDoS para vender volume a compradores mal-intencionados

• Fico curioso sobre qual costuma ser a motivação de ataques DDoS
  Deve haver algum risco de processo criminal, então imagino que precisem ganhar algo com isso; neste caso, nem extorsão nem atrapalhar concorrentes parecem muito plausíveis

  • Muitas vezes é algo simples como uma pessoa instável que sente ter sido injustiçada pela vítima e aluga o ataque
    Um grande motivo para o Discord ter ficado popular foi que Skype e Teamspeak expunham endereços IP, e essa também é a razão pela qual a maioria dos jogos online parou de usar rede P2P direta
  • As causas variam: script kiddies, atores estatais, botnets mal configuradas etc.
    A motivação muitas vezes é parecida com a razão pela qual muitas coisas são reescritas: “porque dá” ou “porque está lá”
    Não faço parte desses grupos, mas, olhando a história e as notícias, muita coisa acontece por pessoas abaixo da idade para serem acusadas como adultas ou em países sem vontade de fiscalizar, então o risco é pequeno; e, mesmo quando há risco, muitos não acreditam que serão pegos
  • As motivações incluem resgate, eliminação de concorrentes e censura
    Por exemplo, atacar sites de apostas ou o governo chinês mirar regularmente o GitHub porque ele hospeda software de VPN
  • Fico curioso se já houve casos de acusação criminal real por DDoS
  • O motivo mais óbvio pode ser que alguém não gostou de algum código publicado no site, e derrubar o site era fácil
    Também pode ter havido algum aviso leve antes, que nós desconhecemos

• O Codeberg também caiu por DDoS cerca de 12 horas atrás
  https://status.codeberg.eu/status/codeberg

  • Fico curioso sobre por que estão considerando migrar para a UE
    Parece que serviços pares na mesma região também estão sofrendo o mesmo problema, e mover para a Europa não resolveria isso, mas havia algo assim no anúncio público