Tudo bem, farei a regressão, mas não será o resultado que você quer
(natesilver.net)- No debate sobre as taxas de mortalidade por COVID nos estados dos EUA, a inclinação partidária e a taxa de vacinação continuam prevendo fortemente a mortalidade após 1º de fevereiro de 2021, mesmo controlando a proporção da população com 65 anos ou mais
- À medida que mais variáveis de controle são adicionadas, aumentam a liberdade do pesquisador e o risco de sobreajuste, por isso, em debates públicos, fatos estilizados simples, mas que resistem à verificação, são mais úteis
- Comparando a margem de votos de Biden em 2020 com as mortes por COVID por 1 milhão de habitantes em cada estado após 1º de fevereiro de 2021, quanto maior a vantagem de Biden, menor foi a mortalidade, e essa relação só aparece após a introdução das vacinas
- Mesmo incluindo a proporção da população com 65 anos ou mais, o coeficiente e a significância estatística da inclinação partidária quase não mudam, e a taxa de vacinação funciona como uma variável explicativa muito mais forte do que a inclinação partidária
- Permanecem objeções sobre a forma de contabilizar as causas de morte, comorbidades e o efeito de intervenções não farmacêuticas, mas as diferenças de mortalidade entre os estados estão mais fortemente ligadas às diferenças na taxa de vacinação do que à idade
Por que priorizar análises simples
- Em debates públicos sobre estatísticas, adota-se o princípio de que quanto mais simples for a análise, melhor
- Quanto mais variáveis de controle forem incluídas, mais aumentam os pontos de decisão sobre como o analista lida com os números, isto é, a liberdade do pesquisador
- Às vezes é preciso controlar variáveis de confusão
- Na relação entre consumo de sorvete e afogamentos, o clima de verão é claramente uma variável de confusão
- Mas adicionar complexidade também aumenta o risco de sobreajuste
- Se for possível mostrar o ponto principal com estatísticas agregadas simples ou métodos intuitivos, essa abordagem é mais eficaz em debates online
Ponto de partida do debate sobre políticas de COVID
- O ponto de partida do texto anterior eram dois fatos estilizados
- Antes da distribuição das vacinas, não havia grande diferença nas taxas de mortalidade por COVID entre blue states e red states
- Depois da distribuição das vacinas, a mortalidade era maior nos red states, provavelmente por causa da menor taxa de vacinação entre republicanos
- Essa afirmação foi mais controversa fora do texto, e Martin Kulldorff criticou a comparação por não ajustar as diferenças de idade média entre os estados, dizendo que isso gerava interpretações enganosas
- Kulldorff é professor da Faculdade de Medicina de Harvard e um dos principais autores da declaração anti-lockdown de outubro de 2020, a Great Barrington Declaration
- A comparação do período anterior às vacinas, na verdade, reforça mais o argumento de que não está claro se intervenções não farmacêuticas funcionaram bem e de que seus custos foram altos
Diferenças entre estados difíceis de explicar só pela idade
- A COVID é muito mais letal para idosos, mas considera-se que a inclinação partidária dos estados e sua estrutura etária são quase ortogonais, e mais ainda em relação à taxa de vacinação
- As diferenças na estrutura etária dos estados dos EUA não são grandes
- Considerando a proporção da população com 65 anos ou mais, todos os estados, exceto 9, estão numa faixa estreita entre mais de 15% e menos de 20%
- Mesmo em quatro estados com proporções semelhantes de idosos, a mortalidade por COVID por 1 milhão de habitantes após 1º de fevereiro de 2021 diverge bastante
- West Virginia: 3,454
- Florida: 2,992
- Maine: 1,881
- Vermont: 1,210
- Esses quatro estados têm proporções de idosos quase idênticas, mas a diferença de mortalidade acompanha a diferença partidária nas taxas de vacinação
Estrutura da regressão
- A regressão é usada como um método para decompor os efeitos de várias variáveis
- Na primeira regressão com uma única variável, a variável dependente é covid_deaths_late
- número de mortes por COVID por 1 milhão de habitantes após 1º de fevereiro de 2021
- a fonte é a base de dados de COVID dos EUA do Worldometers
- 1º de fevereiro de 2021 aproxima o momento em que as vacinas começaram a ser amplamente oferecidas aos grupos vulneráveis
- A variável independente biden é a margem pela qual Joe Biden venceu ou perdeu para Donald Trump na eleição presidencial de 2020
- O resultado é que, quanto maior a vitória de Biden, menor foi a mortalidade por COVID após 1º de fevereiro de 2021
- Essa relação não valia no início da COVID e só aparece após a oferta das vacinas
Efeito da inclinação partidária permanece após controlar a idade
- Na regressão seguinte, acrescenta-se a variável senior, que é a proporção da população estadual com 65 anos ou mais
- Estados com maior proporção de idosos tiveram mais mortes por COVID após 1º de fevereiro de 2021, e essa diferença é estatisticamente significativa
- No entanto, mesmo ao adicionar idade, o coeficiente e a significância estatística da variável biden essencialmente não mudam
- A inclinação partidária de cada estado continua prevendo fortemente a mortalidade por COVID mesmo após controlar a idade
Taxa de vacinação é uma variável explicativa mais direta
- Isso não significa que a COVID, por natureza, mire mais os republicanos
- A hipótese central é que a COVID é muito mais letal para não vacinados e que republicanos têm menos probabilidade de se vacinar do que democratas
- No modelo seguinte, acrescenta-se vax_rate, a proporção estadual de pessoas “fully vaccinated”
- “fully vaccinated” significa as 2 doses iniciais da Pfizer ou Moderna, ou 1 dose inicial da Johnson & Johnson
- dose de reforço não é exigida
- Ao incluir vax_rate, essa variável prevê a mortalidade por COVID de forma muito mais forte do que biden
- Por fim, mesmo removendo biden e deixando apenas idade e taxa de vacinação, as duas variáveis explicam mais da metade da variação da mortalidade por COVID entre os estados desde fevereiro de 2021
Objeções restantes e faixa de robustez
- A disseminação da COVID envolve considerável aleatoriedade, como variantes específicas que se estabelecem regionalmente de forma difícil de prever
- Também restam questões adicionais a examinar
- As comorbidades variam entre os estados
- É possível que a forma de contabilizar mortes por COVID não seja igual em todos os estados
- A afirmação de que intervenções não farmacêuticas realmente não funcionaram no período pré-vacina é menos robusta
- Mas uma afirmação robusta não muda de categoria por causa de objeções pequenas, médias ou às vezes até bastante grandes
- A padronização da contabilização das mortes pode tornar o poder preditivo da taxa de vacinação ainda mais forte, ou não, mas não parece que a tese central vá passar de “claramente verdadeira” para “duvidosa” ou “provavelmente falsa”
1 comentários
Opiniões no Hacker News
Como cidadão dos EUA, incentivei as pessoas ao meu redor a seguir as medidas de prevenção contra a COVID, e também gosto do Nate Silver, mas neste texto o que mais me chamou a atenção foi o trecho em que ele diz concordar, em linhas gerais, com a declaração anti-lockdown de outubro de 2020
Como minha posição se baseava nas informações confirmadas na época, não me arrependo do meu julgamento, mas gostaria que a sociedade aceitasse que, em geral, foi errado prolongar tanto as medidas de lockdown. Um pouco de humildade também não faria mal à esquerda
As máscaras claramente funcionaram para profissionais de saúde que atendiam pacientes na primeira onda, e eles não adoeceram mesmo com exposição direta. Então por que não funcionaram para o público geral? Porque as pessoas não as usavam corretamente e de forma consistente? As escolas pareciam inevitavelmente grandes vetores de transmissão, e as crianças em geral eram assintomáticas, mas, mesmo quando adoeciam, podiam espalhar o vírus dentro e fora da escola e para familiares vulneráveis. Fechar escolas foi um erro, ou deveria ter sido feito de outra forma?
Eu também errei em muita coisa: desde desinfetar as mãos, quando na verdade a transmissão pelo ar era o ponto central, até achar que as vacinas encerrariam a situação
Por exemplo, afirmando que em outubro de 2020 o governo estava impondo lockdowns rígidos. Na realidade, havia evidências claras de que as pessoas preferiam ficar em casa, e o fato de a proporção de trabalho em escritórios ainda estar em nível historicamente baixo é um exemplo disso. Desde que apareceram os vídeos da China em janeiro de 2020, eu nunca estive errado, e foi interessante ver as pessoas pensando demais, moralizando e se agarrando fanaticamente a ramificações de ramificações em torno de três fatos simples que qualquer aluno do ensino médio conhece: “uma doença respiratória altamente contagiosa é ruim, vacinas não impedem infecção nem transmissão, pessoas gostam de trabalhar de casa”
Na época, era difícil levantar esse tipo de assunto, porque o clima era de imediatamente me enquadrarem como antivacina
Eu me perguntava se havia alguma tentativa de calcular o custo-benefício das várias medidas e até que ponto seria preciso ir ao extremo. Danos como depressão, isolamento e crianças perdendo meio ano de escola são difíceis de comparar com mortes e, superficialmente, é claro que a morte de pessoas parece muito pior. Mas, se tudo o que fizemos tivesse sido para salvar uma única pessoa, em geral se diria que não teria valido a pena; à medida que esse número sobe para 10, 1.000, 10.000, em algum ponto subjetivo a maioria começaria a concordar. Com os dados atuais, parece possível reunir amostras suficientes de regiões com regras diferentes e quantificar mais ou menos algo como “máscaras salvam x vidas por 1.000 pessoas” e “fechamento de escolas salva y vidas por 1.000 pessoas”. Assim, daria para julgar se x vidas valem o dano qualitativo, e talvez y não valha
Mesmo no início da pandemia, estava claro que as principais restrições para formuladores de políticas eram a incerteza sobre o vírus e a falta de equipamentos de proteção e de leitos de UTI. Sem equipamentos de proteção, não havia como reduzir a transmissão sem isolamento; se as UTIs ficassem lotadas, a taxa de mortalidade dobraria, pessoas morreriam nas ruas e o sistema de saúde entraria em colapso. O colapso do sistema de saúde não é uma opção de política compatível com uma economia funcional, e as mortes não relacionadas à COVID também aumentam. Infartos, acidentes de trânsito e até partos se tornam causas de morte. A ideia de que formuladores de políticas estavam pesando “o avô morrer alguns anos mais cedo” contra “o isolamento social do neto” precisa desaparecer
“Usando uma abordagem de estudo de eventos com dados de 43 países e de todos os estados dos EUA, medimos mudanças nas mortes excedentes após a implementação de políticas de ficar em casa, ou SIP, relacionadas à COVID-19. Não encontramos evidência de que países ou estados que implementaram políticas de SIP mais cedo tenham tido menos mortes excedentes. Mesmo levando em conta a taxa de mortalidade por COVID-19 antes da SIP, não se observou diferença nas mortes excedentes antes e depois da implementação da SIP”
Quando o número de leitos de UTI disponíveis diminuía, impunham-se mais restrições; quando acontecia o contrário, elas eram flexibilizadas. O foco estava especialmente em mortes evitáveis, isto é, casos em que alguém poderia ter sido salvo, mas foi mandado embora por falta de leito, e me pareceu uma abordagem intuitivamente sólida. Mortes evitáveis são realmente trágicas
O importante não é o número de vidas, mas os anos de vida perdidos. Por exemplo, a morte de uma criança que ainda tem praticamente toda a vida pela frente é pior do que a morte de um idoso já próximo do fim da vida. As estatísticas atuais se concentram apenas no número de mortos, não na perda de expectativa de vida, o que torna difícil até avaliar de forma justa os trade-offs entre políticas diferentes
A COVID foi grave, mas a reação dos EUA foi muito estranha. Acho que o modo como se usava máscara em restaurantes ficará como um dos momentos mais bizarros da história dos EUA
Fui procurar por curiosidade e parece que ele usa Stata: https://www.reed.edu/psychology/stata/analyses/parametric/Re...
https://www.stata.com/
“Em todos os computadores dos laboratórios da Reed, o Stata fica na pasta Applications.” “Você pode encontrar o Stata na pasta Applications dos computadores da escola. Em PCs, ele provavelmente estará em Program Files.” Isso quer dizer que não é open source nem está disponível comercialmente? Parece que pelo menos uma dessas duas opções deveria ser possível, então é bem estranho
O corpo deste texto trata de políticas de COVID e uso de vacinas, então a discussão acabou indo para esse lado, mas o ponto central me pareceu algo mais geral
“Meu objetivo é focar em fatos estilizados que sejam em geral verdadeiros e robustos, e repeti-los. Gosto de afirmações simples, ou que pareçam simples, e de afirmações que nunca é demais enfatizar, mas que se espera que resistam à verificação.” Como alguém que apresenta análises e resultados de modelos profissionalmente, concordo totalmente. Basta apresentar o resultado mais simples que comunique o ponto principal e seguir em frente. Você pode mencionar que “isso se mantém mesmo considerando x, y, z”, ou colocar essa análise em slides de apoio para o caso de haver uma plateia agressiva. Ninguém se importa com o quão complexo é o modelo; as pessoas só olham se ele funciona
No texto, o próprio Nate disse que a proporção de mórmons em Utah é 100 vezes maior e que isso é um efeito significativo. A mortalidade por COVID entre pessoas de 85 anos ou mais é mais de 100 vezes maior do que entre os muito jovens. Não estou questionando o resultado em si, mas, ao analisar COVID, ajustar por idade é obviamente uma pergunta legítima para qualquer conclusão
Focar nas mortes deixa passar uma questão social maior
A destruição causada pela COVID está ligada à COVID longa e também a pessoas que se recuperaram completamente ou que eram assintomáticas. Ainda não acabou, e nós realmente nos ferramos feio. Ou seja, a Great Barrington Declaration estava errada até na direção. Se queríamos ter esperança de voltar ao normal, deveríamos ter otimizado para eliminar a COVID tanto quanto possível. A morte não é o único problema da COVID. Agora é tarde demais, mas quem apoiou aquela declaração era charlatão e deveria ter perdido a licença
Mas, além disso, é difícil concordar com a ideia de que “nós realmente nos ferramos”. É verdade que a COVID corrói um pouco a expectativa de vida, e que a COVID longa também corrói um pouco a produtividade e a satisfação com a vida, mas no quadro geral isso não pesa tanto assim. Hoje, nos EUA, as mortes por COVID são menos da metade das mortes por câncer de pulmão, e essas mortes se concentram esmagadoramente nos idosos. Pode soar frio, mas reduzir em alguns anos a vida de pessoas que já estão aposentadas há muito tempo não derruba um país. Entre menores de 18 anos, praticamente não há mortes por COVID, e mesmo na população em idade ativa são raros os casos que levam à internação ou a debilidade prolongada. As pessoas que sofrem obviamente sofrem, e não devemos ignorá-las, mas, como crise de saúde pública, a COVID em grande parte acabou
Peguei COVID pelo menos duas vezes e, um mês depois de me recuperar, tive sintomas tão horríveis que eu tinha certeza de que era COVID longa, mas alguns meses depois — e agora, passados alguns anos — ficou claro que não era. Conheço muita gente que perdeu familiares para a COVID, mas não conheço ninguém com sintomas graves de COVID longa, nem alguém que conheça uma pessoa assim. Não estou dizendo que desconfio da existência da COVID longa, mas, pela minha observação, sou muito cético de que a COVID seja a causa de “estarmos ferrados”. Acho que a estranheza pós-COVID se deve a várias razões, incluindo a mudança climática em rápida progressão: as pessoas estão sob um estresse enorme e, ao mesmo tempo, não conseguem falar direito sobre qual é esse estresse nem resolvê-lo. Se houver bons materiais, gostaria de ler
Se você mergulhar fundo o suficiente em qualquer coisa, consegue se assustar. Se fizer doomscrolling suficiente sobre diabetes tipo 2, talvez acabe convencido de que, comparada às complicações dela, a COVID é o mais trivial dos problemas de saúde pública dos EUA
Em 2020, especialmente, e até hoje, era difícil prever o impacto específico da COVID longa e de outros efeitos colaterais em comparação com danos como piora da saúde mental ou atrasos em tratamentos causados pelos lockdowns. Também não há dados contrafactuais que mostrem os impactos de 3, 5 ou 10 anos de lockdowns plurianuais. Além disso, como não existe um governo mundial e não era possível um lockdown global nem a eliminação da COVID, a própria direção muda. Se uma população suficientemente grande não aderir a uma estratégia de eliminação, ela se torna menos viável e mais cara para os demais. Pessoalmente, quando as primeiras variantes começaram a surgir na África do Sul e na Europa, eu meio que abandonei a expectativa de eliminação. Tenho curiosidade sobre quais são hoje as taxas de infecção e de COVID longa em países que fizeram lockdowns relativamente bem-sucedidos, como Nova Zelândia ou Japão
A eliminação parcial sugerida por “tanto quanto possível” também não era uma opção; sempre foi tudo ou nada
Estou ansioso para, daqui a 20 anos, quando todos tiverem esquecido suas posições políticas, sabermos o que a COVID realmente foi
[1] https://en.wikipedia.org/wiki/1977_Russian_flu
Fico curioso para saber de que maneira você acha que as informações em geral estabelecidas foram contaminadas pela política
Nate às vezes age de forma leviana e grosseira no Twitter, mas parece ter mordido completamente a isca das críticas contra ele
Este texto, em essência, está mais para “como as pessoas fizeram suposições sem base sobre uma afirmação que eu fiz, vou gastar bastante tempo provando algo com que elas não vão se importar”
Porque, ao menos em parte, o texto é uma resposta a Martin Kulldorff, professor da Escola de Medicina de Harvard, bioestatístico e coautor da GBD
Talvez o objetivo maior seja conquistar credibilidade junto ao seu próprio público leitor
Seja qual for o motivo pelo qual ele escreveu esse post no blog, o texto em si foi realmente interessante e perspicaz, com bons detalhes e clareza de raciocínio. Por exemplo, a análise no fim do texto mostrou que o fator real por trás da diferença de mortalidade foi a taxa de vacinação, e que o partidarismo era, na verdade, uma variável proxy para isso. O pessoal do Twitter pode não se importar com o que o texto mostrou, mas eu achei bastante valioso
Sempre que penso em Nate Silver, lembro daquele homem abatido encarando o vazio à meia distância na noite da eleição presidencial de 2016. A utilidade de Silver se limita a saber quais são os pontos de discussão do campo dominante
Não sei sobre outros países, mas na Áustria os enfermeiros tinham fortes incentivos para registrar nas estatísticas nacionais como mortes por COVID tanto mortes logo após a vacinação quanto mortes algumas semanas depois de uma infecção já passada
Com esse tipo de “nudge” nos relatos de campo durante a pandemia, não seria surpresa se os dados de mortes por COVID tivessem se tornado pouco confiáveis
Desde o início de junho de 2020, a autoridade de “saúde pública” da maior cidade do Canadá dizia que estava contando mortes de uma forma bastante suspeita. “Indivíduos que morreram enquanto estavam com COVID-19, mas não morreram em decorrência da COVID-19, também são incluídos na contagem de mortes por COVID-19 de Toronto.” https://twitter.com/TOPublicHealth/status/127588839006028596... Em meados de 2021, também houve reportagens relacionadas a instituições de longa permanência. “Pacientes em instituições de longa permanência de Ontario morreram de negligência, não de COVID-19, diz relatório militar: ‘Tudo de que precisavam era água e que seus corpos fossem limpos’” https://www.theglobeandmail.com/canada/article-canadian-mili... Depois dessas coisas e de tudo o que aconteceu entre 2020 e 2022, já não consigo confiar em autoridades de saúde pública
Por isso, os dados sobre quantas vidas as vacinas salvaram estão realmente contaminados, e a contagem de não vacinados fica inflada. Além disso, os hospitais também tinham incentivo financeiro para acrescentar COVID como causa da morte
Você leu o texto? A parte que trata dessas coisinhas que as pessoas tiram da manga no caminho rumo ao viés de confirmação
Tenho algumas observações
Segundo o CDC [1], o total de mortes por COVID por estado em 2020 foi de 1.318 em West Virginia, 21.546 na Florida, 344 no Maine e 134 em Vermont. As populações desses estados no censo de abril de 2020 [2] eram 1.793.716 em West Virginia, 21.538.187 na Florida, 1.362.359 no Maine e 643.077 em Vermont. Portanto, antes das vacinas, as mortes por 100 mil habitantes foram 73 em West Virginia, 100 na Florida, 21 em Vermont e 25 no Maine. Seria bom alguém conferir as contas, mas, mesmo antes das vacinas, votar em Trump parece ter aumentado as mortes em mais de 3 vezes. Ou seja, a análise do texto original pode ter sido afetada por fatores de confusão não considerados. Por exemplo, a DPOC é, segundo o CDC, um importante fator de risco médico para complicações graves por COVID e afeta mais de 13,6% da população de West Virginia, mas apenas 5,9% em Vermont [3]. Eu tomei a vacina e os reforços na data mais cedo possível, e peguei COVID durante a onda inicial da Omicron no meu estado
[1] https://stacks.cdc.gov/view/cdc/99750
[2] https://en.wikipedia.org/wiki/List_of_U.S._states_and_territ...
[3] https://www.lung.org/research/trends-in-lung-disease/copd-tr...
Se alguém acreditava que a COVID não era pior que uma gripe, ou que nem sequer existia, como alguns parentes por afinidade meus no verão de 2020, essa pessoa teria muito mais probabilidade de se infectar, transmitir e receber tratamento inadequado. Essas diferenças de comportamento também teriam se refletido nas taxas de vacinação. Se doenças como DPOC fossem a principal diferença, eu esperaria que a diferença de mortalidade ficasse mais próxima de 2,3 vezes (13,6%/5,9%) do que de 2,9 vezes (73 contra 25 por 100 mil habitantes). Não conheço outras comorbidades que tenham, entre esses dois estados, uma razão relativa maior que 2,3 vezes, e a obesidade é apenas 1,3 vez maior em West Virginia. No fim, voltamos ao ponto de Silver. Quase sempre é possível encontrar outros fatores contribuintes, mas isso não é prova de que outro fator não tenha contribuído. É preciso analisá-los em conjunto. Ainda assim, mesmo antes da regressão, parece difícil explicar a diferença apenas por fatores de saúde e comorbidades
Agora quero ver os detalhes da primeira afirmação: que “antes do surgimento das vacinas, quase não havia diferença na taxa de mortalidade por COVID entre estados azuis e vermelhos”