- A falha na rede sem fio da AT&T ocorrida na quinta-feira nos Estados Unidos causou interrupções em chamadas, mensagens de texto e em algumas ligações de emergência para o 911, e a AT&T informou que, pouco depois das 15h no horário do leste, o serviço foi restaurado para todos os clientes afetados
- Na análise inicial, a causa foi identificada não como um ataque cibernético, mas como a aplicação e execução incorretas de um processo durante a expansão da rede, e a AT&T continuará a avaliação adicional
- As notificações no Downdetector começaram a aumentar por volta das 4h no horário do leste, atingindo um pico de cerca de 74.000 ocorrências às 8h30, e por volta do meio-dia ainda havia cerca de 58.000 relatos
- Nos aparelhos afetados, as barras de sinal desapareciam ou aparecia a indicação SOS, e os clientes conseguiam fazer chamadas ao ativar o Wi-Fi calling
- Verizon e T-Mobile também tiveram milhares de relatos cada uma, mas as duas empresas avaliaram que isso provavelmente refletia problemas ao tentar se conectar com usuários de outras redes
Situação da falha e da recuperação da AT&T
- Na quinta-feira, milhares de usuários da AT&T nos Estados Unidos enfrentaram uma falha no serviço celular, com interrupções no uso de chamadas e mensagens de texto
- A AT&T informou que, pouco depois das 15h no horário do leste, o serviço foi restaurado para todos os clientes afetados
- A empresa afirmou que manter os clientes conectados é sua prioridade máxima e que está tomando medidas para evitar que os clientes passem por isso novamente
- A AT&T criou o site system updates, mas não divulgou quantos clientes foram afetados pela falha de quinta-feira
Causa da falha e resposta dos órgãos reguladores
- Na análise inicial divulgada no fim da quinta-feira, a AT&T identificou a causa da falha como a aplicação e execução incorretas de um processo usado durante a expansão da rede
- Na mesma explicação, confirmou que a falha não foi um ataque cibernético
- A FCC informou no X que está investigando o caso e que está em contato com a AT&T e com as autoridades de segurança
- A AT&T continuará a avaliação da falha
Evolução dos relatos no Downdetector e ações da empresa
- Segundo o Downdetector.com, os relatos da falha começaram a aumentar por volta das 4h no horário do leste
- O número de relatos atingiu um pico de cerca de 74.000 ocorrências por volta das 8h30
- Por volta do meio-dia, ainda havia cerca de 58.000 relatos da falha
- As ações da AT&T fecharam a quinta-feira com queda de 2,41%
Indicação nos aparelhos e impacto no 911
- Nos celulares afetados pela falha, as barras de sinal desapareciam no canto superior direito da tela ou aparecia a indicação SOS
- Os clientes conseguiam fazer chamadas ao ativar o Wi-Fi calling
- O San Francisco Fire Department informou em uma publicação no X que clientes da rede sem fio da AT&T não conseguiam fazer nem receber chamadas, incluindo ligações para o 911
- O prefeito de Atlanta, Andre Dickens, disse que a cidade conseguia receber e fazer chamadas para o 911, mas que clientes locais da AT&T relataram que seus celulares estavam em modo SOS
- A Massachusetts State Police pediu que as pessoas não ligassem para os centros do 911 apenas para verificar se o serviço 911 no celular estava funcionando
- Informou que, se uma chamada não emergencial puder ser feita com sucesso para um número comum, então o serviço 911 também está funcionando
Relatos sobre Verizon e T-Mobile
- Segundo o Downdetector, até as 10h no horário do leste, usuários da Verizon e da T-Mobile também haviam relatado milhares de falhas cada
- As duas empresas avaliaram que esses relatos provavelmente refletiam dificuldades ocorridas ao tentar se conectar com usuários de outras redes
- Em comunicado por email, a T-Mobile explicou que o Downdetector provavelmente refletiu os problemas enfrentados por clientes ao tentar se conectar com usuários de outras redes
1 comentários
Comentários do Hacker News
Isso é uma falha arquitetural grave
Em toda a história da comutação eletromecânica do Bell System, exceto por desastres naturais ou um grande incêndio em NYC, nenhuma central ficou fora do ar por mais de 30 minutos
O sistema AT&T Long Lines das décadas de 1960 e 1970 tinha 10 centros regionais totalmente independentes e densamente interconectados, e o centro de controle em Bedminster, NJ, só cuidava do monitoramento e das atualizações de roteamento a cada 15 minutos
Se necessário, todas as centrais podiam voltar ao roteamento padrão e, sob carga alta, algumas chamadas podiam falhar, mas a maioria continuava funcionando
A causa foi trocar uma instrução
breakpor uma instruçãocontinueno código C que processava o roteamento, o que gerou um efeito em cascataPorém, afetou apenas o serviço de telefonia de longa distância
Fico me perguntando se isso é só impressão ou se é real e, se for, o que isso significa
A origem do 502 era o Azure, e parece ser um problema de arquitetura em nuvem
Há algo que não está sendo muito discutido aqui: quais foram os efeitos em cascata dessa falha, especialmente para motoristas?
Muitas pessoas dentro de prédios talvez tenham conseguido contornar via Wi-Fi, mas acho que o impacto para motoristas foi bem amplo
Por exemplo, dá para imaginar atrasos em entregas de UPS, FedEx, Amazon e caminhoneiros que dependiam de apps de mapas no celular, motoristas de Uber/Lyft/táxis sem orientação para rotas de embarque e desembarque, tráfego pior por falta de otimização de rotas ou orientação até o destino etc.
Grandes empresas talvez tenham redundância, como infraestrutura própria ou dispositivos GPS dedicados, mas fico curioso se esse impacto realmente ocorreu ou se há formas de contorná-lo
Separadamente dos motoristas, o risco de alguém não conseguir atendimento em uma emergência por não conseguir telefonar também deve ter aumentado, e também não está claro como as chamadas de emergência foram afetadas
Em Toronto, um quarto de todos os semáforos dependia da rede celular da Rogers para alterações de temporização dos sinais, e a rede GSM da Rogers também era usada no monitoramento remoto de alarmes de incêndio e sprinklers em prédios municipais
Pagamento de estacionamento público e serviços de bicicletas públicas também ficaram indisponíveis
https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
Lembro que, por ser verão, alguns programas em parques para crianças também foram cancelados. Isso porque os funcionários precisavam ter um celular capaz de ligar para o 9-1-1, embora pelo menos essa chamada em si pareça ter funcionado por lá
Reduzi deliberadamente minha dependência do celular, então nem sabia que havia alguma falha. Antes, eu abria automaticamente o Google Maps até para deslocamentos muito curtos, mas percebi que, se eu dependesse totalmente de uma empresa para rastrear minha localização e me dar instruções, perderia minha própria capacidade de me orientar, e, no processo de sair do ecossistema Google, troquei para o Organic Maps
Mesmo assim, sempre que possível tento me orientar sozinho, sem ajuda do GPS, porque navegação parece uma habilidade que você realmente pode perder se não praticar
Depois de resolver uma coisa atravessando o centro nesta manhã, tentei voltar para a maior via arterial que conheço e caí imediatamente em um congestionamento total de pelo menos 1 milha no sentido oeste. Procurei ver se havia algum acidente, mas não vi nada; todo mundo simplesmente estava parado
Fiz um retorno imediatamente e fui para outra rua a oeste, 0,75 milha ao norte, onde não havia nenhum carro, e consegui voltar para casa no limite de velocidade
Apps de navegação muito usados sugerem rotas alternativas quando há congestionamento, então por que todo mundo estava parado naquele congestionamento se havia uma rua paralela vazia a menos de 1 milha? Talvez tenha sido um efeito em cascata causado pelo fato de que, quando o celular não pôde dizer para pegar outro caminho, havia gente demais acostumada a seguir as instruções do celular
Parece que também existe um recurso de mapas locais automáticos
A maioria dos motoristas segue trajetos familiares e não recebe orientação por meios eletrônicos
A pergunta melhor é o que aconteceu com os carros autônomos. Será que, sem cobertura celular, eles não conseguiram encontrar o caminho e ficaram parados no acostamento?
Para quem quer especular sobre a causa raiz: as informações dos comentários até agora não são suficientes para chegar a uma conclusão
Quando trabalhei em uma operadora, lidei várias vezes com problemas celulares em escala nacional no Canadá, e impactos nacionais vieram de causas muito variadas
Houve uma vez em que uma nova rota foi injetada na rede e fez o mecanismo de roteamento de certos equipamentos celulares cair em todo o país; como resultado, apenas o acesso à internet dos dispositivos celulares do país inteiro parou. Por sorte, foi durante a janela de manutenção das 2h da manhã, e descobrimos e revertemos antes do horário comercial, então a maioria nem ficou sabendo
Também houve um caso em que um técnico conectou um novo roteador e os roteadores de core existentes travaram e reiniciaram. O impacto digno de notícia foi uma indisponibilidade regional de uns 20 minutos, mas nas 12 horas seguintes encontramos bugs e efeitos colaterais do Pacífico ao Atlântico
Por isso, dados do tipo “fui afetado no local x” não permitem distinguir se toda aquela região está fora do ar, se muita gente está com problema ou se uma ou duas pessoas estão vendo um problema que se espalhou de outra região; a informação de que funciona/não funciona em um local específico tem valor limitado
Também já houve um caso em que um relé de mensagens bateu no limite de taxa configurado, e as retentativas do protocolo aumentaram ainda mais a taxa de mensagens, causando na prática um colapso por congestionamento em um protocolo específico. Como era um problema de congestionamento na propagação de estado, houve impacto nacional, mas ainda assim o fluxo de mensagens era concluído com probabilidade de x%, então o serviço às vezes funcionava
Também não me lembro se, no famoso apagão da Rogers, eles reconheceram toda a causa raiz. Havia a especulação de que, durante uma mudança ou atualização na malha de roteamento, um efeito colateral do problema acabou expulsando até os técnicos da rede. Como a rede nacional morreu e os funcionários usavam a mesma rede, a coordenação ficou difícil, tornando a recuperação complicada
Os documentos enviados à CRTC que analisei tinham todas as informações úteis censuradas, então havia muito pouco a aprender. Especular é divertido, mas espero que desta vez a AT&T seja mais transparente do que as operadoras canadenses, para que o setor possa aprender
Foi interessante ver mais uma organização gigante sem plano de reversão ou de falha para uma mudança capaz de derrubar a empresa. Nem o básico de IT 101 existia, ou existia de forma limitada
O aprendizado positivo foi que as três grandes — na prática, duas operadoras — acharam uma boa ideia fornecer entre si SIMs de backup emergencial em outras redes para funcionários essenciais quando sua própria rede caísse. Só fizeram isso em 2015, mas tarde ainda é melhor do que nunca
Como a Rogers usava o mesmo core para conexões sem fio e com fio, até pessoas que usavam provedores de internet de terceiros rodando sobre a Rogers sofreram um apagão total. Sites, links corporativos, praticamente tudo caiu, e a comunicação da Rogers foi praticamente inexistente
Felizmente, nossa organização tinha configuração com múltiplos links, então trocamos de link às 6h da manhã e os locais continuaram operando quase sem problemas
Outra coisa interessante foi que as estações rádio-base continuavam ligadas apenas o suficiente para o celular se conectar, mas sem conseguir fazer nada; por isso, chamadas para 9-1-1 não eram transferidas para outra rede e simplesmente falhavam. Parece uma falha na especificação GSM ou na programação dos SIMs da Rogers, mas não sei se foi corrigido
https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
Generalizando de forma bem grosseira, pessoas da área científica especulam sobre erupções solares; meu amigo de direita especulou sobre hackers internacionais; eu especulei sobre uma implantação de software malsucedida; e alguém neste post escreveu que um amigo militar disse para deixar o tanque cheio
Mas, assim como todo mundo, eu também sinto sinceramente que o meu palpite provavelmente está certo
Há muitos relatos de seis pessoas na mesma casa, todas na AT&T, mas apenas uma delas com problema
Parece uma atualização aplicada pela metade ou, considerando o horário, um rollback aplicado pela metade
Verizon e T-Mobile anunciaram que ambas não tiveram indisponibilidades próprias; o problema seria que seus clientes não conseguiam ligar para clientes da AT&T
Ainda assim, parece que a maior parte da rede da AT&T nos EUA ficou fora do ar
A explosão de dispositivos tentando se registrar ao mesmo tempo pode ter sobrecarregado partes dessas redes
Provavelmente não tem relação, mas o momento é ruim, já que a AT&T solicitou o encerramento do serviço de telefonia fixa em algumas regiões da Califórnia
https://www.wired.com/story/att-landline-california-complain...
Fim da indisponibilidade
Status: restaurado
AT&T FINAL, Service Degradation, Global Smart Messaging Suite
AT&T Global Smart Messaging Suite
Descrição do evento: FINAL, Service Degradation
Serviço afetado: MMS MT
Início: 2024-02-21, Leste 22:00, Central 21:00, Pacífico 19:00
Fim: 2024-02-22, Leste 11:00, Central 10:00, Pacífico 08:00
Tempo de interrupção: 780 minutos
Prezado cliente, informamos que o Global Smart Messaging Suite está disponível no momento. O serviço MMS MT foi restaurado e nossa equipe está monitorando
AT&T Business Solutions
Kind Regards,
The AT&T SMS Service Administrator
Talvez eu esteja lendo demais nas entrelinhas, mas me incomoda essa informação estar ausente
Lembrei de uma discussão recente sobre páginas de status: https://news.ycombinator.com/item?id=39099980
Páginas de status deveriam ser precisas, mas o status da AT&T afirma que está tudo normal
Meu serviço móvel caiu e há dezenas de milhares de relatos no DownDetector, então claramente nem tudo está normal
Ou são atualizadas por testes automáticos, ou manualmente
Se for automático, quase sempre é para uso interno, não público; se for manual, quase sempre atrasa e, de qualquer forma, só é atualizado depois que a falha já apareceu no HN
É realmente irritante quando o departamento de marketing toma conta da página de status e aparece aquele infame check verde com um pequeno “i”
“Service Alert: Some of our customers are experiencing wireless service interruptions this morning. We are working urgently to restore service to them. We will provide updates as they are available.”
https://www.att.com/outages/
Ainda não há informações na NANOG, mas acho que algo vai aparecer nesta thread nas próximas horas: https://mailman.nanog.org/pipermail/nanog/2024-February/2250...
https://mailman.nanog.org/pipermail/nanog/2024-February/2250...
Mesmo usando o app myATT, minha conta móvel nem aparece
A conta da família inteira também não aparece como serviço. Parece um hack ou um problema interno que apagou a conta
Alguém mais pode confirmar se consegue ver a própria conta?
Os SIMs perderam a autenticação na rede e foram todos derrubados da malha. Se for isso, parece bem provável que tenha sido uma implantação de software que falhou
A conta online também deve buscar essa informação de algum modo, então isso pode explicar por que o portal quebrou
Um hotspot pré-pago funciona bem, mas nenhum dos celulares pós-pagos do “plano família” funciona
Também fico me perguntando se a diferença entre SIM físico e eSIM poderia explicar por que modelos “mais novos” funcionam
A primeira coisa que fiz ao ver que o celular não funcionava foi fazer login e pagar a conta, pensando que talvez eu não tivesse pago
Eu não descartaria a possibilidade de terem caído só com um pouco de tráfego adicional. Correlação não é causalidade
Existe um tal mapa de falhas[1]. Mas é inútil
É apenas um mapa mostrando onde muita gente mora nos EUA
[1] https://www.cbsnews.com/news/outage-map-att-where-cell-phone...