O impacto da falha da CrowdStrike no setor aéreo
(heavymeta.org)- A atualização de configuração do sensor da CrowdStrike para Windows, distribuída em 19 de julho de 2024 às 04:09 UTC, levou cerca de 8,5 milhões de computadores à tela azul e também afetou as operações das companhias aéreas
- Em todo o tráfego aéreo dos EUA, incluindo bombeiros, polícia, forças armadas e aviação geral, o total acumulado de decolagens após 04:00 em 19 de julho foi 2,6% maior do que na sexta-feira da semana anterior, mas entre 08:00 e 09:00 houve uma queda de 31%, de 378 para 261 voos
- O impacto nas quatro maiores companhias aéreas dos EUA variou bastante: Delta teve -1.087 voos (-46%), United -596 (-36%), American -376 (-16%) e Southwest +101 (+3%)
- A Delta cancelou milhares de voos ao longo de vários dias e teve uma recuperação mais lenta, enquanto a explicação da ABC News diz que a Southwest não foi afetada porque não usava CrowdStrike
- A análise detectou decolagens a partir dos dados brutos de ADS-B da ADS-B Exchange e as tratou como aproximações de voos; mesmo que os números absolutos possam estar subestimados, a comparação percentual entre períodos continua válida
O ponto de partida da falha da CrowdStrike em 19 de julho de 2024
- Em 19 de julho de 2024 às 04:09 UTC, a CrowdStrike distribuiu uma atualização de configuração do sensor para sistemas Windows
- Depois disso, cerca de 8,5 milhões de computadores sofreram tela azul, afetando várias áreas como hospitais, bancos e sistemas 911
- Linux, Mac e celulares não são mencionados como alvos diretos dessa falha
- Serviços como Gmail, Facebook e Twitter continuaram funcionando, mas houve um contraste com máquinas Windows que executam tarefas reais, como reservas, abertura de contas e despacho policial, e que sofreram interrupções
- Os sistemas das companhias aéreas também fazem parte dessa área operacional baseada em Windows
Foco na comparação do tráfego aéreo real, e não apenas no número de cancelamentos
- Em vez de observar apenas o número de cancelamentos das companhias aéreas, foi escolhida uma abordagem que compara o número de aeronaves realmente no ar com o número de aeronaves que deveriam estar voando
- Foi compartilhado um vídeo em timelapse de 12 horas com base no FlightRadar24 para American Airlines, Delta e United, mas sem um parâmetro de comparação é difícil avaliar a dimensão do impacto
- A redução do número de aeronaves durante a noite acontece todos os dias, então é preciso comparar com o padrão normal do mesmo dia da semana
- Este caso se encaixa no problema de “falta de contexto para o fenômeno observado”, mencionado pela Bellingcat em “OSHIT: Seven Deadly Sins of Bad Open Source Research”
Mudança por faixa horária no total de decolagens nos EUA
- Foi feita uma comparação das decolagens por faixa horária nos EUA entre 19 de julho, quando ocorreu a falha da CrowdStrike, e a sexta-feira da semana anterior, 12 de julho
- A comparação inclui não apenas a aviação comercial, mas também aeronaves de bombeiros, polícia, forças armadas e aviação geral
- O dia 18 de julho também foi verificado, mas como era muito parecido com a sexta-feira da semana anterior, 12 de julho permaneceu como principal referência de comparação
- Por volta de 06:00~13:00, o número de voos caiu levemente, e depois houve um pequeno aumento
- Em termos acumulados após 04:00, o número de voos em 19 de julho foi 2,6% maior do que no mesmo período da sexta-feira anterior
- A maior queda apareceu no intervalo de 08:00~09:00, com 31% de redução, de 378 voos na sexta-feira anterior para 261
Um impacto muito diferente entre as companhias aéreas
- As mudanças entre as quatro maiores companhias aéreas dos EUA foram bastante diferentes entre si
- Delta Air Lines: -1.087 voos, -46%
- United Airlines: -596 voos, -36%
- American Airlines: -376 voos, -16%
- Southwest Airlines: +101 voos, +3%
- A Delta foi a mais afetada, seguida pela United, enquanto a redução da American foi menor
- A Southwest apareceu na apuração como não afetada
- A explicação de que a Southwest evitou o impacto por ainda usar Windows 3.1 apareceu em uma matéria da TechRadar, mas o OSNews tratou isso como falso
- Uma matéria da ABC News informou que a Southwest não foi afetada porque não usava CrowdStrike
Explicações e limitações em torno da demora na recuperação da Delta
- A Delta Air Lines levou muito tempo para se recuperar, cancelando milhares de voos ao longo de vários dias após a atualização da CrowdStrike
- Uma matéria da ABC News informou que a resposta à falha exigiu a correção manual de cada sistema de computador e que, embora cada correção pudesse ser feita em menos de 10 minutos, a Delta tinha tantos terminais digitais que isso exigiu muito pessoal
- Só essa explicação não basta para explicar plenamente a diferença entre a Delta e as outras companhias aéreas
- Um comentário no Reddit apresentou uma explicação não confirmada de que a Delta não tinha um plano adequado de recuperação de desastres nem de continuidade de negócios de TI, enquanto United, American e Frontier executaram seus planos imediatamente e se recuperaram rapidamente
- Esse comentário afirma que United e American também têm um grau de dependência de Windows semelhante ao da Delta
- Também inclui a informação de que a American se recuperou até o fim da sexta-feira e retomou a operação normal no sábado, enquanto a United resolveu o problema na manhã de sábado e retomou a programação normal na tarde de sábado
- Essa explicação vem de um comentário no Reddit sem fonte e com a ressalva de que pode estar errada
Método de análise com base em dados ADS-B
- A análise usou os dados brutos de ADS-B da ADS-B Exchange
- Um código personalizado foi usado para detectar decolagens, tratando cada decolagem como aproximadamente equivalente a um voo
- Parte-se do pressuposto de que o número de decolagens e o número de voos não são exatamente iguais, mas são suficientemente próximos para esse objetivo
- Alguns casos podem ficar subcontabilizados, como aeronaves que decolaram de aeródromos fora da cobertura da ADS-B Exchange
- Como essa subcontagem ocorre de forma sistemática, ela pode ser usada para comparações entre períodos; o número absoluto de voos pode ficar abaixo do real, mas a variação percentual é considerada precisa
- Como o código de detecção de decolagem já existia, foram usadas as decolagens em vez de contar novamente as aeronaves em voo
1 comentários
Opiniões do Hacker News
Li que, na Delta, o software de rastreamento de tripulação foi bastante afetado, e por isso a recuperação demorou
Fonte: https://news.delta.com/update-delta-customers-ceo-ed-bastian
Há um trecho dizendo que “em especial, uma das ferramentas relacionadas ao rastreamento de tripulação foi afetada e não conseguiu processar de forma eficaz o número sem precedentes de mudanças desencadeadas pela interrupção dos sistemas”
Eles não estavam prontos quando o sistema passou a ser necessário para o rush da manhã e, por isso, é bem provável que tenham passado para o processamento manual, sua estratégia de continuidade de negócios. Esse método traz prejuízos de vazão e de tempo de recuperação, e obviamente piora quanto mais tempo se permanece nesse estado
O que os casos da Southwest e agora da Delta mostram parece ser que as grandes companhias aéreas não têm pessoal nem folga suficiente na escala para aguentar quando entram em modo de continuidade de negócios. Isso precisa ser investigado, e espero que sanções financeiras induzam mudanças de comportamento, mas só o tempo dirá
Em termos mais simples, o software de escala ficou fora do ar por 4 horas na manhã de sexta, então eles passaram a “pegar emprestado” pessoal de vários lugares para cobrir funcionários atrasados ou doentes. Isso prejudica a disponibilidade de pessoal para os próximos voos, e a essa altura você torce para o sistema voltar; se não voltar, precisa pegar gente emprestada de novo para os voos da noite
Enquanto isso, voos atrasados e cancelados também afetam as horas restantes de trabalho dos funcionários que originalmente poderiam ser usados. Depois que essa cadeia continua e chega ao fim de semana, primeiro é preciso organizar quantas horas cada tripulante efetivamente registrou, e ainda fica incerto como trazê-los de volta ao lugar correto a tempo
A informação era que, enquanto outras companhias aéreas atrasaram voos, a Delta os cancelou de imediato e, como resultado, mais pessoas e aviões ficaram presos nos lugares errados, dificultando a recuperação
Fico curioso para saber se um plano de recuperação de desastres robusto, atualizado e suficientemente ensaiado realmente salvou alguém. Ou se todo mundo está operando no peito e na raça, independentemente de a TI gastar ou não dinheiro com backup e recuperação
Temos sistemas de recuperação que também funcionariam em outros cenários, como se a Thames Barrier falhasse e Docklands desaparecesse. Infelizmente, alguns fornecedores terceirizados não tinham essa postura
Claramente houve uma falha momentânea e, por uns 10 minutos, tivemos problemas como timeouts de páginas ou reinicialização de processos, mas, no geral, os sites fizeram failover e conseguiram continuar mancando enquanto descobríamos a causa
O data center nos deu um crédito de serviço de 19 ou 21 dólares, não lembro, e um pedido de desculpas. O CEO ficou furioso, dizendo que ia processar, mas isso não foi adiante; já o diretor de infraestrutura de TI ficou discretamente agradecido por termos preparado um failover que, em grande parte, funcionou
Então parece mesmo que o motivo de a Delta ter quebrado tanto foi falta de recuperação de desastres
O que não entendo nesses gráficos é por que o número de decolagens aumentou relativamente pouco antes de a atualização do CrowdStrike ser distribuída
Isso aparece no gráfico geral e também nos gráficos da United, da American e especialmente da Delta. Não consigo pensar em um motivo; pode ser só ruído aleatório, ou talvez tenha acontecido algo incomum no mesmo horário da semana anterior
Então mesmo um aumento de 25% poderia significar apenas cerca de 12 voos a mais decolando em uma hora nos EUA inteiros. Há claramente muito ruído, e ver os valores absolutos junto com a variação percentual ajuda a ter uma noção do que aconteceu
Dois dias de dados provavelmente são suficientes para ver a trajetória principal do impacto do CrowdStrike, mas não bastam para explicar todas as variações
O mais interessante talvez seja ver como vai se desenrolar o processo que a Delta pretende mover contra a Microsoft e a CrowdStrike
https://www.marketwatch.com/story/delta-hires-law-firm-seeking-damages-from-crowdstrike-microsoft-after-massive-tech-outage-report-a882328a
Conteúdo do link incluído: https://www.techradar.com/pro/security/southwest-airlines-avoided-crowdstrike-microsoft-outage-because-its-still-running-windows-31-fourth-largest-us-airline-remained-free-of-bsod-errors-because-its-os-hasnt-been-updated-in-decades
O conteúdo diz: “Para dar uma ideia de quão antigo é esse sistema operacional, o Windows 3.1 foi lançado originalmente em 1992, a Microsoft encerrou o suporte em 31 de dezembro de 2001, exceto para a versão embarcada, e até a versão embarcada foi oficialmente descontinuada em 2008”
Tenho ouvido a história do Windows 3.1 se repetir sem parar. Veio da TechRadar e ainda tem “Pro” no nome, então não deve ter sido inventado, certo? Mesmo assim, não consigo acreditar totalmente. Alguém que trabalha na Southwest consegue confirmar se o principal sistema de gestão de escalas roda em Windows 3.1?
A frase “o SkySolver e o Crew Web Access, desenvolvidos internamente pela Southwest, ‘parecem historicamente como se tivessem sido projetados no Windows 95’” foi distorcida para “rodam no Windows 3.1”
[1] https://www.osnews.com/story/140301/no-southwest-airlines-is-not-still-using-windows-3-1/
Nem era um tweet da Southwest, nem de alguém que disse ter trabalhado na Southwest. Era só um tweet
https://x.com/ArtemR/status/1815408553131426179
https://kotaku.com/southwest-airlines-windows-3-1-blue-screen-crowdstrike-1851603013
Alguns clientes ainda rodavam Windows 3.11 em sistemas AT antigos no datacenter e costumavam comprar computadores velhos no craigslist e no eBay para ter hardware disponível quando algo quebrasse. Não me surpreenderia se esses sistemas ainda estivessem em uso hoje
Berlin Brandenburg foi bem atingido. Como usuário muito insatisfeito do BER, não me surpreende nem um pouco que ele tenha sido um dos que sofreram as piores consequências
Ainda assim, foi melhor eles terem avisado imediatamente com um banner no topo do site. O sistema de agendamento do órgão de imigração ficou fora do ar por mais de um mês, e levou três semanas só para reconhecerem esse fato
Acho que vêm processos por aí. A Delta já parece estar se preparando
https://finance.yahoo.com/news/delta-air-lines-seek-compensation-211908080.html
O que a Microsoft tem a ver com um driver de terceiros instalado pelo próprio departamento de TI deles?
Alguém sabe por que Minneapolis-St Paul começou a sofrer cancelamentos em massa muito antes dos outros aeroportos dos EUA?
Como não quebrar: a Southwest não foi afetada porque não usava CrowdStrike
Minhas redes sociais têm backups e infraestrutura melhores; realmente não entendo por que o lado do sistema operacional usado no mundo todo não consegue ter isso
Já o negócio principal das companhias aéreas é colocar aviões no ar, e elas fazem isso muito bem. Mas TI é mais uma ferramenta comprada de fora, e elas não a entendem da mesma forma que uma empresa de redes sociais
Por isso dependem de contratadas externas para fazer direito, e essas contratadas muitas vezes ganham o trabalho por serem as mais baratas ou por convencerem o comprador de que seus serviços são “melhores práticas do setor”
https://news.ycombinator.com/item?id=28750894
E, quanto à expressão “infraestrutura comparada ao sistema operacional”, acho que a qualidade da infraestrutura da Microsoft não é relevante aqui
Nas primeiras, a remuneração é boa e há certo status e capital político. Nas segundas, os salários são baixos, e o status ou capital político muitas vezes fica em nível semelhante ao da equipe de limpeza
O lucro do ano passado também foi de US$ 39 bilhões, em comparação com US$ 7,8 bilhões de todas as companhias aéreas dos EUA. Naturalmente, ela tem sistemas melhores