- Desde antes da grande interrupção de julho de 2024, ex-funcionários diziam que já vinham alertando a liderança sobre prazos apertados, carga excessiva de trabalho e problemas técnicos crescentes
- Entre os 24 ex-funcionários entrevistados, muitos afirmam que a diretoria priorizava velocidade em vez de qualidade, e que alguns funcionários assumiam tarefas de programação e operação sem treinamento suficiente
- A CrowdStrike nega grande parte dos relatos dos ex-funcionários e rebate que as informações vieram de “alguns ex-funcionários insatisfeitos demitidos por violarem claramente as políticas da empresa”
- A falha na atualização do Falcon Sensor em julho paralisou 8,5 milhões de computadores, causou perdas de até US$ 5,4 bilhões para empresas da Fortune 500, e a CrowdStrike deixou de fechar cerca de US$ 60 milhões em contratos previstos para aquele trimestre
- Embora não tenha sido confirmada uma relação direta entre problemas de qualidade/operação de longo prazo e a interrupção de julho, a CrowdStrike depois enfrentou redução nas projeções de receita e lucro, depoimento no Congresso e pressão judicial
Preocupações com qualidade se acumulavam antes da interrupção
- Ex-engenheiros de software da CrowdStrike dizem que já alertavam superiores, mais de um ano antes da grande interrupção de julho, sobre prazos apertados, excesso de trabalho e problemas técnicos crescentes
- Segundo os ex-funcionários, esses alertas se repetiram em reuniões, e-mails e entrevistas de desligamento
- Jeff Gardner, ex-designer sênior de experiência do usuário, disse que “a velocidade era o mais importante” e que o controle de qualidade não fazia parte do processo nem das conversas
- Um ex-gerente sênior afirmou que, em várias reuniões, funcionários alertaram que lançar “produtos que não podemos dar suporte” poderia fazer os clientes “falharem” também
Relatos divergentes de ex-funcionários e resposta da empresa
- Ao todo, 24 ex-funcionários foram entrevistados pela Semafor
- 10 disseram ter sido demitidos ou desligados em cortes
- 14 disseram ter saído voluntariamente
- Um deles permaneceu na empresa até o verão de 2024
- Três ex-funcionários discordam dos relatos dos demais
- Joey Victorino, que deixou a empresa em 2023, avaliou que a CrowdStrike era “muito meticulosa em tudo o que fazia”
- A empresa nega grande parte da reportagem
- Disse que as informações vieram de “alguns ex-funcionários insatisfeitos demitidos por violarem claramente as políticas da empresa”
- Afirmou que realiza testes rigorosos e controle de qualidade para garantir a resiliência dos produtos, e negou integralmente as descrições em contrário
A interrupção de julho após crescimento acelerado
- A CrowdStrike foi fundada em 2011 e se tornou uma das principais empresas do setor de cibersegurança com o lançamento do pacote antivírus Falcon em 2013
- Após abrir capital em 2019, acrescentou milhares de funcionários, e sua receita cresceu mais de 1.000% até o fim do ano fiscal de 2024
- Em julho de 2024, uma atualização de software defeituosa levou a um incidente que pode ter sido a maior interrupção de TI da história
- 8,5 milhões de computadores pararam
- As perdas para empresas da Fortune 500 podem ter chegado a US$ 5,4 bilhões
- Passageiros aéreos ficaram presos em aeroportos, o acesso ao internet banking foi bloqueado e centros de chamadas de emergência ficaram offline
- O CFO Burt Podbere disse, na divulgação de resultados de 28 de agosto, que a empresa deixou de fechar cerca de US$ 60 milhões em contratos esperados para o trimestre encerrado em 31 de julho
- O CEO George Kurtz afirmou que não esquecerá a escala do incidente de 19 de julho e que fará o necessário para que isso nunca mais aconteça
Testes, dados de clientes e o caso do LogScale
- Alguns ex-funcionários disseram que, no esforço para acompanhar o ritmo de lançamento de produtos, as verificações de qualidade do software às vezes eram apressadas
- Preston Sego, que trabalhou na empresa de 2019 a 2023, disse que às vezes era difícil convencer as pessoas a fazer testes suficientes
- O trabalho dele era revisar, antes da implantação de mudanças de código para clientes, se os testes dos desenvolvedores de experiência do usuário informavam corretamente os bugs
- Sego disse ter sido demitido em fevereiro de 2023 como “insider threat” após criticar no Slack interno a política de retorno ao trabalho presencial
- A CrowdStrike disse que não comenta questões individuais de pessoal
- No departamento de serviços profissionais, houve três casos em que informações privadas de um cliente quase foram enviadas por engano para a pasta de outro cliente
- A CrowdStrike confirmou o incidente e atribuiu a causa a erro manual de entrada de dados
- Explicou que os dados eram informações básicas, como nomes de host, endereços IP e nomes de domínio
- Disse que atualmente executa verificações para evitar que dados privados de clientes sejam enviados incorretamente
- Vários ex-funcionários também disseram que havia problemas no Falcon LogScale
- Um deles lembrou que uma atualização defeituosa desligou temporariamente, em pelo menos duas ocasiões, alertas em tempo real que sinalizavam possíveis atividades maliciosas
- Alguns engenheiros disseram que, em reuniões internas, isso foi atribuído a prazos apertados
- A CrowdStrike negou o caso, dizendo não ter conhecimento de uma “bad update” que tenha impedido clientes de receber alertas
- A empresa afirmou que o LogScale não é um serviço projetado para alertar clientes sobre possíveis violações de dados em “tempo real”
Controvérsia no lançamento do Falcon OverWatch Cloud Threat Hunting
- Um ex-funcionário disse que o Falcon OverWatch Cloud Threat Hunting, lançado em 2022, foi colocado no mercado às pressas
- O serviço consiste em especialistas em segurança da CrowdStrike procurando comportamentos suspeitos que possam indicar invasões em ambientes de nuvem de clientes, como Amazon Web Services
- Um ex-gerente sênior que participou do projeto disse que uma tarefa que normalmente levaria um ano foi entregue a engenheiros e threat hunters em 2 meses
- Ele afirmou que, no lançamento, os threat hunters não tinham as ferramentas internas necessárias para monitorar completamente os sistemas em nuvem dos clientes e que, até o verão passado, cerca de um ano depois do lançamento, eles respondiam a alertas de sistemas de segurança já existentes
- O mesmo ex-gerente sênior disse que a empresa colocou em detecção de ameaças em nuvem funcionários treinados para monitorar sistemas de computadores de clientes, como laptops e desktops, sem tornar obrigatório um novo treinamento
- A CrowdStrike confirmou que aproveitou engenheiros já existentes em vez de contratar uma nova equipe de “cloud threat hunters”
- Disse que, por se tratar de um novo serviço, não havia “cloud threat hunters” experientes disponíveis, e que era impossível contratar pessoas treinadas especificamente para uma área que não existia antes de a própria CrowdStrike desenvolvê-la
- Disse que não tornou o novo treinamento obrigatório, mas o ofereceu a quem quisesse
- Acrescentou que os funcionários recebem regularmente treinamentos adequados às suas funções
- O SANS Institute já oferecia desde 2020, dois anos antes do lançamento do serviço da CrowdStrike, cursos e palestras sobre segurança em nuvem
- A CrowdStrike disse que o serviço OverWatch sempre funcionou como pretendido e negou que o projeto tenha sido apressado ou que faltassem ferramentas necessárias aos threat hunters
Código antigo e aumento da carga de trabalho
- Sego disse que era comum código escrito de forma temporária para tocar projetos adiante não ser melhorado depois
- Um ex-engenheiro sênior afirmou ter pedido mais de 20 vezes tempo para corrigir código antigo, mas nunca foi atendido
- A CrowdStrike rebateu dizendo que programar é um processo iterativo e que implantar código e melhorá-lo continuamente com base na experiência real do produto é algo comum na indústria de software
- Ex-funcionários citaram o aumento da carga de trabalho como uma das razões para não conseguirem melhorar código antigo
- Alguns disseram ter assumido mais trabalho após redução de quadro e reestruturações
- A CrowdStrike se recusou a comentar menções a demissões em massa e disse que o número de funcionários cresceu de forma constante ano após ano
- As despesas de P&D cresceram de US$ 371,3 milhões no ano fiscal de 2022 para US$ 768,5 milhões no ano fiscal de 2024, e a empresa disse que isso ocorreu principalmente pelo aumento no número de funcionários
- A empresa afirmou que recebe, avalia e reflete sobre diferentes feedbacks das equipes, mantendo foco em preservar uma cultura de alto desempenho
- Também acrescentou que foi escolhida recentemente, por quatro anos consecutivos, para a lista Fortune 100 Best Companies to Work For
Custos e desdobramentos após a interrupção
- A CrowdStrike atribuiu a causa da interrupção de julho a uma falha na atualização do Falcon Sensor
- O incidente reduziu em mais de US$ 21 bilhões o valor de mercado da empresa
- Vários processos vieram em seguida, e a Delta Airlines estimou perdas de US$ 550 milhões após milhares de voos cancelados, levantando a possibilidade de ação judicial
- O vice-presidente sênior Adam Meyers deve depor no Congresso em setembro de 2024
- O presidente da CrowdStrike, Michael Sentonas, aceitou em agosto, numa convenção hacker, o prêmio “Most Epic Fail” e disse que é muito importante admitir quando algo dá terrivelmente errado
- A relação entre os problemas de longo prazo citados pelos ex-funcionários e a interrupção de julho ainda não foi confirmada
1 comentários
Comentários do Hacker News
Uma matéria feita com base em ex-funcionários ressentidos dizendo algo como “a velocidade era o mais importante, e controle de qualidade não fazia parte do nosso processo nem das nossas conversas” parece valer tanto quanto um gift card de desculpas do GrubHub
Não tenho uma boa opinião da CrowdStrike, mas qualquer pessoa com rancor e uma chance de chamar atenção pode falar qualquer coisa. Além disso, essa pessoa era designer e provavelmente nem estava diretamente envolvida com controle de qualidade
A própria matéria diz que, dos 24 ex-funcionários, 10 foram demitidos ou dispensados em layoff, 14 saíram por conta própria, e 3 não concordaram com os outros depoimentos. Joey Victorino disse que a CrowdStrike era “meticulosa em tudo”, então no fim há muito pouca certeza sobre qualquer coisa
Eles empurraram direto para ambientes de produção no mundo inteiro, sem rollout gradual, e nem havia um laboratório onde o código novo fosse realmente instalado e executado. Dá para ver isso nesse contexto quando há fumaça e vários relatos de que houve fogo
Na verdade, esse tipo de funcionário tem mais chance de falar com franqueza sobre a situação interna, e mesmo que não fosse do departamento de garantia ou controle de qualidade, ainda assim pode conhecer o clima da empresa. Esse tipo de informação parece mais confiável do que a de quem fica concordando com a empresa
Dá para alegar que a Semafor é ruim no que faz ou age de má-fé, mas não é uma acusação fácil de sustentar quando o próprio trecho citado também apresenta evidências contrárias
Se você ouve isso de um único ex-funcionário, pode ser algo pessoal, mas quando várias pessoas fazem a mesma reclamação, é preciso levar muito mais a sério
Pessoas insatisfeitas têm mais chance de deixar review, e quem saiu da CrowdStrike provavelmente também tinha algum grau de insatisfação. É um conjunto de dados enviesado, mas ainda assim útil
Fiquei surpreso com a facilidade com que os comentários aqui estão descartando isso. Ex-funcionários, inclusive engenheiros, estão dizendo que a cultura de desenvolvimento perigosa da antiga empresa contribuiu para uma pane global gigantesca e para incidentes anteriores
Esses relatos deveriam ser vistos como confiáveis ou pelo menos como informações úteis, mas muita gente parece estar atacando apenas a designer de UX que disse “controle de qualidade não fazia parte do nosso processo”
Talvez muita gente se veja na frase “velocidade de lançamento é tudo”, isto é, “mova-se rápido e quebre coisas”. Porque está acostumada ao prazer de fazer deploy de código, apagar incêndio, causar impacto e deixar a arrumação para o próximo engenheiro e gerente
Pela ótica da era dos juros zero, esse tipo de falha de processo pode ter parecido não um bug, mas uma funcionalidade. A ênfase em “qualidade” pode ter sido vista como uma barreira chata que atrapalha se divertir com o dinheiro do cliente
Um cliente certa vez encomendou uma solução customizada de altíssima segurança baseada em driver de kernel, rodando um banco de dados crítico em um computador offline, e era preciso rastrear todas as system calls para alertar e registrar exatamente qualquer alteração nos dados. Os backups também não podiam sair do local de jeito nenhum, e antes da instalação em campo ainda eram exigidos procedimentos de segurança como verificar se havia hooking da
ntdllno Windows. Exceções, travamentos e deadlocks eram inaceitáveis, e perder uma única system call já seria um desastrePor isso, sempre que o código do driver mudava, ele era retestado com um procedimento definido em 7 computadores de escritório com hardwares diferentes, e o último teste antes do lançamento era ainda mais amplo
Por esse padrão, a CrowdStrike parece quase totalmente amadora. Também não contribuiu em nada para a comunidade de segurança, e o nível de pesquisa parece o de um pesquisador júnior da área. A postura de exagerar descaradamente ou tirar conclusões apressadas também não é bem vista na comunidade
É melhor olhar para empresas realmente especializadas, como Kaspersky e Checkpoint. Elas não só criaram soluções de segurança de altíssimo nível e comprovadas, como também contribuíram gratuitamente com pesquisas valiosas para a comunidade, encontrando zero-days e reportando-os antes que fossem explorados. A CrowdStrike merece ser criticada
Entre várias estratégias de reorganização que vi se repetirem ao longo dos anos, a que mais ficou na memória foi “vamos treinar toda a engenharia para que qualquer pessoa possa ser substituída imediatamente em qualquer domínio”. É estagnação total
Infraestrutura crítica de software deveria ser regulada como infraestrutura física crítica. Do mesmo jeito que não se confia que quem constrói prédios e pontes “vai fazer certo por conta própria”, e se exigem regulações e inspeções, deveria ser assim também aqui
Se, quando o software para, milhões de pessoas no mundo inteiro ficam presas, então isso é infraestrutura crítica. Desta vez foi um “acidente” comum, mas no futuro, em um cenário de guerra, agentes de ameaça tentando derrubar sistemas podem tornar isso muito pior
Se é uma área crítica para segurança, então ela deve ser tratada com mais rigor do que outras, e não pode ser deixada aos processos de garantia de qualidade autorregulados de empresas com fins lucrativos. É preciso mais revisão antes de apertar o botão grande
Só acrescentando: a frase entre aspas não é minha, e sim uma objeção que já ouvi de outras pessoas quando o assunto de regulação aparece
Software quase sempre é feito barato e rápido. Até a NASA já teve foguete explodindo em voo por erro de software
Ontem de manhã, soube que uma pessoa que eu conhecia acabou de falecer, e o velório foi marcado para a semana que vem.
Essa pessoa passou mais de um mês no hospital e, poucos dias depois de voltar para casa, sofreu um AVC.
Aí me lembrei de que uma cirurgia importante que ela deveria fazer originalmente foi adiada por causa da falha da CrowdStrike. Levou semanas até conseguirem remarcar e realizar a cirurgia.
Ela fez a cirurgia naquele dia, e eu continuo pensando se o resultado teria sido diferente se ela não tivesse passado mais algumas semanas no hospital, sob estresse por causa do estado de saúde e do futuro dela.
É apenas um entre milhões de danos que este incidente deve ter causado, mas como não é convertido em dinheiro, na prática não entra na “conta”.
Por exemplo, se você chutasse o joelho de uma criança de 3 anos e deixasse uma deficiência para o resto da vida, obviamente seria chamado de monstro. Mas se você apoiar uma reforma educacional que expulsa a língua de sinais americana das escolas e faz crianças surdas crescerem sem linguagem durante a fase de desenvolvimento, nem sequer temos palavras adequadas para expressar a escala acumulada e o dano desse tipo de ato.
Não sabemos lidar direito com dano distribuído. Um grande motivo é que não vemos, e nem podemos ver, o conjunto completo dos danos concretos que isso gera.
Acho questionável que a pessoa citada como especialista em processo de engenharia seja uma designer UX sênior. Não parece alguém que estivesse tão próxima assim do processo de distribuição de patches de kernel.
Não estou tentando justificar o controle de qualidade da CrowdStrike, mas em vários ambientes de desenvolvimento de software pelos quais passei também era bem comum não haver controle de qualidade.
Lendo a matéria, dá para sentir como se todo projeto de software fosse bem testado, mas pela minha experiência a maioria é lançada às pressas.
Para software de entretenimento ou software corporativo de baixa criticidade, isso até pode ser aceitável, mas para software importante é uma péssima ideia. Infelizmente, a atitude de “vamos rápido” se espalhou até para lugares onde ela nunca deveria existir.
O setor parece um lugar onde um pequeno grupo de pessoas competentes consegue fazer o sistema continuar funcionando de algum jeito, enquanto no restante aparece uma incompetência técnica chocante. A gerência prioriza redução de custos no curto prazo sempre que pode, em vez de qualidade, e o resultado é uma dívida técnica terrível e uma equipe sobrecarregada e desmotivada. Como levantar problemas de qualidade traz consequências negativas, no fim as pessoas simplesmente deixam de se importar com qualidade.
Alguns ex-funcionários podem estar ressentidos e falando da CrowdStrike de um jeito que a faça parecer pior. Isso acontece em qualquer empresa.
Mas, neste momento, a CrowdStrike está com credibilidade zero. Não acredito em uma palavra do que eles dizem.
Tudo o que se sabe sobre a CrowdStrike me faz pensar na Knight Capital. É aquele fluxo em que pequenos problemas culturais vão virando uma falha funcional total e acabam levando a um bug que destrói a empresa.
Já estava custando isso por causa do problema de negociação que causou confusão no mercado acionário na manhã de quarta-feira, e a Knight Capital Group anunciou que perdeu 440 milhões de dólares ao vender todas as ações que havia comprado por engano por causa de uma falha de computador.
“Falha”...
https://en.wikipedia.org/wiki/Therac-25
Em uma empresa anterior, alguns clientes e a seguradora de responsabilidade civil pressionavam fortemente pela adoção da CrowdStrike por motivos de compliance. Em especial, a BCG exigia o uso da CrowdStrike.
Foi uma batalha realmente difícil tentar convencer as pessoas a não usarem CrowdStrike. No fim conseguimos, mas foram necessárias muitas reuniões e muito tempo para convencer várias partes interessadas. Acho que muita gente simplesmente teria desistido e adotado.
Já trabalhei na equipe que implantava o agente da CrowdStrike na organização, e um dos maiores problemas era que o daemon gerava uma quantidade absurda de logs, mas não havia nenhuma configuração para parar isso ou reduzir o volume.