O t-test que nasceu na cervejaria Guinness
(scientificamerican.com)- O t-test, amplamente usado para determinar a significância estatística na ciência, surgiu de um problema de controle de qualidade na fabricação de cerveja
- No início do século 20, a Guinness, então a maior cervejaria do mundo, queria transformar um controle de qualidade que dependia de avaliação visual e olfativa em algo centrado em consistência e rigor industrial
- William Sealy Gosset criou um método para distinguir diferenças reais de variações aleatórias em situações nas quais só era possível medir pequenas amostras, como o teor de resina do lúpulo
- O t-test usa uma relação sinal-ruído que considera tanto a diferença entre médias amostrais quanto a dispersão dos dados; em amostras pequenas, é necessária a distribuição t, com caudas mais pesadas que a distribuição normal
- Como a Guinness não queria revelar suas pesquisas aos concorrentes, Gosset publicou sob o pseudônimo “Student”, e o método continua sendo uma ferramenta estatística central na ciência até hoje
Uma técnica estatística nascida do controle de qualidade da Guinness
- A cervejaria Guinness ficou conhecida por métodos inovadores depois que seu fundador, Arthur Guinness, assinou em Dublin um contrato de arrendamento de 9.000 anos por £45 ao ano
- Entre as inovações ligadas à cerveja está uma técnica química criada após quatro anos de tentativas pelo cervejeiro Michael Edward Ash, que tinha formação em matemática
- Essa técnica é usada para criar a camada de espuma cremosa da Guinness stout
- Ela inclui colocar gás nitrogênio em uma pequena esfera dentro de barris e latas
- Depois, isso deu origem ao estilo “nitro brew” em cervejas e cafés
- A inovação mais influente saída da cervejaria não foi a cerveja em si, mas o t-test
O problema das pequenas amostras na maior cervejaria do mundo
- No início do século 20, a Guinness era a maior cervejaria do mundo, em operação havia quase 150 anos
- Na época, o controle de qualidade dos produtos dependia em geral de avaliação visual e inspeção pelo cheiro
- Com a crescente demanda por expansão global, a direção quis migrar para um controle de qualidade mais consistente e com rigor industrial
- A empresa contratou uma equipe de pesquisa e deu a ela autonomia para investigar perguntas relacionadas à produção da cerveja perfeita
- Onde cresciam as melhores variedades de cevada
- Qual era o teor ideal de açúcar do extrato de malte
- Quanto a campanha publicitária mais recente havia aumentado as vendas
- O desafio que a equipe de pesquisa encontrava repetidamente era interpretar dados com tamanhos de amostra pequenos
Significância estatística pelo exemplo do lúpulo
- As flores de lúpulo eram um ingrediente importante para o amargor da Guinness e para sua função de conservante natural, e os cervejeiros mediam o teor de soft resin para avaliar a qualidade do lúpulo
- No exemplo, considera-se 8% como um bom valor típico e supõe-se uma situação em que, ao medir 9 amostras, os valores ficam entre 4% e 10%, com média de 6%
- Como testar todas as flores não era economicamente viável, era preciso examinar uma amostra aleatória
- Quando a média amostral sai em 6%, há duas interpretações possíveis
- O teor de soft resin da safra inteira é de fato anormalmente baixo
- A safra inteira é normal, mas por acaso foram escolhidas apenas amostras de valor baixo
- O ponto central da decisão é distinguir se o baixo teor de resina da amostra é significativamente diferente de 8% ou se é apenas variação natural
Um julgamento que se repete em toda a ciência
- Esse problema não se limita à fabricação de cerveja; ele aparece em toda a pesquisa científica
- Em um estudo médico, se tanto o grupo tratado quanto o grupo placebo melhoram, mas o grupo tratado melhora um pouco mais, é preciso decidir se há evidência suficiente para recomendar o medicamento
- Se dois grupos receberam placebos diferentes e um deles teve resultado melhor, é preciso distinguir se aquele placebo tem efeito terapêutico ou se a melhora é natural
- Esse tipo de julgamento acaba levando à questão da significância estatística
O ponto que o t-test de Gosset resolveu
- A teoria para lidar com esse tipo de problema em amostras pequenas não havia sido desenvolvida até William Sealy Gosset, da Guinness, criar o t-test
- O conceito de significância estatística já existia antes de Gosset, mas os estatísticos anteriores lidavam principalmente com grandes amostras
- No exemplo do lúpulo, a pergunta é qual é a probabilidade de observar um valor extremo como média de 6% em um mundo no qual a média da safra inteira é 8%
- Essa probabilidade é chamada de valor-p e, tradicionalmente, muitas vezes é considerada estatisticamente significativa quando fica abaixo de 5% ou 0,05
- Mas o valor de referência pode variar conforme a área de aplicação
Sinal, ruído e distribuição t
- O valor-p geralmente é influenciado por dois fatores
- O quanto a amostra se distancia do valor esperado para a população
- Quão comuns são grandes desvios
- A diferença entre a média amostral de 6% e o valor esperado de 8% corresponde ao sinal
- Quanto maior a diferença, maior a probabilidade de o teor de soft resin da safra ser realmente baixo
- O desvio-padrão entre as flores corresponde ao ruído
- Se o desvio-padrão for grande, uma média de 6% talvez não seja tão preocupante
- Se o desvio-padrão for pequeno, 6% pode ser um sinal de desvio real em relação ao valor esperado de 8%
- No caso ideal, calcula-se a relação sinal-ruído e se avalia se essa razão é grande o suficiente para atingir o critério de 5%
- Os estatísticos da época de Gosset sabiam que, ao repetir experimentos várias vezes e traçar a relação sinal-ruído, o resultado se aproximava da distribuição normal padrão, isto é, uma curva em forma de sino
- Gosset percebeu que essa abordagem só funcionava bem com grandes amostras e que, em pequenas amostras de lúpulo, a distribuição normal não era garantida
- Ele construiu cuidadosamente tabelas de uma nova distribuição adequada a tamanhos de amostra pequenos, hoje chamada de distribuição t
- A distribuição t tem formato de sino, como a distribuição normal, mas suas caudas caem mais lentamente
- Portanto, em amostras pequenas, é necessária uma relação sinal-ruído maior para avaliar significância
Por que veio de uma cervejaria
- John D. Cook escreveu em um post de blog de 2008 que talvez não seja surpreendente o t-test ter surgido em uma cervejaria, e não em uma vinícola
- A diferença é que o cervejeiro exige consistência do produto, enquanto o produtor de vinho aprecia a diversidade
- O vinho tem “boas safras” e cada garrafa tem uma história, mas a Guinness precisa entregar sempre o mesmo sabor característico
- Essa exigência de uniformidade levou à inovação estatística
O nome “Student’s t-test”
- Gosset resolveu vários problemas da cervejaria com sua nova técnica
- Estatístico autodidata, ele publicou o t-test sob o pseudônimo “Student” porque a Guinness não queria que os concorrentes conhecessem suas pesquisas
- Gosset foi pioneiro no controle de qualidade industrial e contribuiu com várias ideias para a pesquisa quantitativa, mas muitos livros didáticos ainda chamam sua principal realização de Student’s t-test
- Seu nome ficou menos destacado na história, mas o t-test continua sendo uma das ferramentas estatísticas mais usadas na ciência até hoje
1 comentários
Opiniões do Hacker News
Há também um trecho interessante na história da bioquímica: Chaim Weizmann era bioquímico e um sionista fervoroso, e chamou a atenção de Winston Churchill durante a Primeira Guerra Mundial ao cultivar Clostridium acetobutylicum, capaz de produzir acetona necessária para a fabricação de cordite, um propelente de artilharia naval
Quando George Lloyd perguntou o que a Grã-Bretanha poderia fazer em retribuição por sua contribuição à guerra, Weizmann respondeu: “não para mim, mas para o meu povo”, o que levou à Balfour Declaration, que prometia fornecer um lar para o povo judeu
https://en.wikipedia.org/wiki/Chaim_Weizmann
https://en.wikipedia.org/wiki/Balfour_Declaration
A Balfour Declaration também continha uma cláusula dizendo que os palestinos não deveriam ser expulsos, mas ela foi praticamente esquecida; e, depois que Weizmann chegou à Grã-Bretanha, até se encontrar com George Lloyd, houve também uma considerável articulação política, incluindo uma turnê mundial para promover Albert Einstein
A Peace to End All Peace, de David Fromkin, que li recentemente, trata em profundidade do papel de Weizmann e do contexto em que a Balfour Declaration se formou; e uma parte da conclusão do livro que ficou comigo é a ideia de que, após o colapso da ordem imperial depois de Roma, a Europa levou quase 1.500 anos para organizar seus Estados-nação e suas identidades políticas
A crise atual no Oriente Médio pode ter profundidade e duração diferentes, mas me impressionou a interpretação de que ela lida com o mesmo problema: depois do colapso de uma velha ordem imperial, com que nova identidade política diferentes povos serão reorganizados
Os Aliados não elaboraram um plano para reassentar refugiados judeus no pós-guerra; pelo contrário, na época os judeus eram até proibidos de entrar no Mandato Britânico da Palestina
Os israelenses declararam seu próprio Estado contra a vontade britânica, assim como os EUA declararam independência da Grã-Bretanha
Além disso, nenhum “plano” para aquela região previa uma guerra civil, mas a guerra civil de fato aconteceu; encaixar os acontecimentos retrospectivamente dizendo que eles não correspondiam aos vários planos que nunca se concretizaram se aproxima de uma interpretação revisionista
É difícil dizer que o tratamento que os árabes da Cisjordânia receberam dos israelenses foi pior do que aquilo que eles pretendiam fazer aos israelenses; só que, depois de perderem o conflito militar, o lado árabe também expulsou suas antigas comunidades judaicas
Quando fui à Polônia no verão passado, descobri que, no período entreguerras, vários líderes judeus da Polônia apoiavam um Estado-nação judeu, mas não conseguiram convencer o governo a declarar isso publicamente
Isso é ainda mais surpreendente considerando que, na época, os judeus chegavam a representar até 25% da população da Polônia
Entre as motivações dele para aprovar a declaração estava, ao menos em parte, a ideia de que, se a Grã-Bretanha desse aos judeus um país próprio, ganharia um aliado poderoso na conspiração judaica mundial e, ao mesmo tempo, faria com que os judeus deixassem a Grã-Bretanha e parassem de controlar sua política, cultura e economia
Em um texto de Balfour de 1919 citado na Wikipedia, ele também escreveu que o sionismo aliviaria o sofrimento antigo causado pelo fato de a civilização ocidental ver “a coletividade de judeus dentro de si” como estrangeira e hostil, mas ser incapaz de expulsá-la ou absorvê-la
Ele é o melhor exemplo de que apoio ao sionismo e antissemitismo não são contraditórios entre si e, na prática, podem andar juntos
Mesmo depois da ascensão de Hitler ao poder, houve um projeto sionista, com apoio do governo alemão, para ajudar a migração de judeus alemães para a Palestina; como toda migração, é claro, ele terminou com o início da Segunda Guerra Mundial
Isso não significa que os nazistas gostassem do projeto, mas eles também não se opuseram ativamente a ele; em vez disso, obrigaram os judeus emigrantes a liquidar seus ativos e limitaram fortemente os bens que podiam ser transferidos para fora do país, e mais tarde, durante o Holocausto, confiscaram empresas de proprietários judeus e as reprivatizaram
Texto interessante. Acho que nunca ouvi esse tipo de história nas aulas de estatística
Gosset resolveu vários problemas da cervejaria com a nova técnica e, como a Guinness não queria revelar a pesquisa aos concorrentes, publicou o teste t sob o pseudônimo Student
Gosset foi um pioneiro do controle de qualidade industrial e também fez muitas contribuições à pesquisa quantitativa, mas a maioria dos livros didáticos ainda chama seu feito de “teste t de Student”
Gosset não tinha a base matemática para derivar teoricamente a distribuição correta, então simulou milhares de amostragens para cada tamanho de amostra e ajustou curvas para encontrar a distribuição
Na época, simulação significava escrever números em milhares de cartões, embaralhá-los, tirar amostras, calcular média e desvio-padrão, e repetir isso milhares de vezes
Ele publicou os resultados em tom de desculpas por não ter conseguido prová-los corretamente
Livros de estatística são secos demais e quase nunca têm espaço para contar histórias assim
Fico pensando em quantas descobertas úteis feitas na indústria foram enterradas porque a direção temia vazamento de informações competitivas
Se acreditarmos que, mesmo que não fosse uma pessoa específica, alguém acabaria descobrindo, dá para dizer que essas descobertas também acabaram sendo, ou ainda serão, redescobertas de forma independente
Também fico curioso sobre quanta pesquisa valiosa desaparece quando empresas quebram ou são adquiridas
Por exemplo, ao ler artigos dos anos 1990 sobre “agentes” e “sistemas multiagentes” relacionados à MCC, aparecem com frequência referências como “MCC Technical Report TR86-32791”, mas, embora algumas possam ser encontradas online, muitos relatórios parecem difíceis ou impossíveis de achar
https://en.wikipedia.org/wiki/Microelectronics_and_Computer_...
Foi parecido quando, no HN, discutiram a origem do termo “sharding”. Muitas evidências apontavam para um artigo interno da CCA, e a CCA foi adquirida pela Xerox, mas hoje o artigo original é praticamente impossível de obter
Talvez exista em algum lugar da Xerox, mas deve ser muito difícil conseguir acesso
https://news.ycombinator.com/item?id=36848605
A placa comemorativa lá lembra Gosset e suas contribuições à estatística
Depois de conhecer esse pequeno contexto, pessoalmente fiquei bem aliviado
No meu primeiro ano na AWS, trabalhei no site DUB1, que fazia parte do Digital Hub, um espaço de tecnologia e incubação
Por coincidência, o pequeno escritório da Amazon ficava no antigo laboratório de William Sealy Gosset, bem ao lado da St. Patrick's Tower, onde ficava a oficina de controle da Guinness
Como ex-instrutor de estatística, contei empolgado aos colegas o quanto tínhamos sorte de trabalhar naquele lugar, mas quase ninguém reagiu
Há muito tempo sugeri William Sealy Gosset como homenageado em um selo postal irlandês, mas nada aconteceu; espero que um dia ele receba mais reconhecimento
A Guinness estava muito à frente de seu tempo e, de várias formas, era como o Google da época. Oferecia moradia, salários altos e ótimos benefícios
Meu avô trabalhou lá, então todos os irmãos e irmãs do meu pai aprenderam a nadar na piscina da Guinness
Outro fato curioso é que o widget para produzir uma boa espuma nas latas foi escolhido como invenção do ano, e aquele foi o mesmo ano em que a internet foi inventada
Para mais histórias interessantes sobre a Guinness, este texto é bom: https://www.thefitzwilliam.com/p/no-great-stagnation-in-guin...
Assim como hoje resolvemos discussões de bar com o Google, na época o livro foi publicado exatamente para esse fim
Estudei em uma escola ao lado da cervejaria Guinness, e acho que nunca vou esquecer o cheiro do lúpulo fervendo
Mas a escola era muito pobre em vários aspectos, e mesmo durante os anos 1980, época de desemprego em massa e grande emigração na Irlanda, a Guinness não patrocinava o equipamento do time de futebol da escola
Ironicamente, um ex-aluno doou alguns Apple Macs e uma dúzia de Apple IIe, então a escola tinha uma sala de informática à frente do seu tempo
Foi ali que provavelmente comecei a desenvolver minhas habilidades, aprendendo programação em BASIC por conta própria
Voltando ao ponto, a Guinness sempre foi inteligente e à frente do seu tempo, e conseguir um emprego lá era como ganhar na loteria: na prática, garantia a vida inteira
Gosto de histórias assim
Tive a sorte de conhecer esse fato em um livro de estatística da graduação e, mais tarde, quando visitei a cervejaria Guinness em Dublin, havia também uma pequena exposição sobre Gosset. Mas, na verdade, Gosset ficava na cervejaria do lado inglês
Outro fato interessante que aprendi em química orgânica é que o compositor russo Alexander Borodin, autor de “In the Steppes of Central Asia” e “Prince Igor”, compunha como atividade de lazer; sua profissão principal era químico orgânico e ele foi um dos co-descobridores da reação aldólica
https://en.wikipedia.org/wiki/Alexander_Borodin
Em uma palestra de 2019, tratei dessa história
Para fazer direito, eu deveria ter levado uma Guinness ao palco e aberto ali mesmo
É um vídeo da EuRuKo gravado em um antigo transatlântico aposentado, convertido em hotel e espaço de conferências: https://youtu.be/Aczy01drwkg?si=lsVWAFv9f3eLc2fZ&t=1095
Não é surpresa. Quase toda manufatura parece um ambiente perfeito para testar métodos estatísticos
Há escala suficiente para que até diferenças sutis economizem muito dinheiro, então o retorno aparece bem rápido
O teste t é simples comparado a técnicas mais avançadas, mas é engenhoso, e sempre me impressionou
No início dos anos 1900, o cultivo e a agricultura se beneficiaram muito do desenho de experimentos, como análise de variância, fatores de bloqueio, fatores de confusão, fatores·níveis·intervalos e planejamento fatorial completo
Hoje em dia, coisas como estatística F e valor crítico de F são dadas como óbvias
Infelizmente, o texto original parece deixar passar, em grande parte, o trabalho de Gosset e o ponto central do teste t
É uma abordagem comum entre pessoas formadas na mistura moderna de Gosset/Fisher/Pearson/Neyman chamada teste de significância da hipótese nula
O importante não é a capacidade de calcular um valor-p, mas o fato de ser um framework de tomada de decisão que troca a taxa de falsos positivos pela de falsos negativos para chegar a decisões economicamente racionais: https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1...
Nesse caso, os registros da cervejaria tinham a taxa de lotes defeituosos bem organizada por testes e degustações, de modo que era possível decidir quantos lotes “ruins” aceitar em troca de economizar o custo de um certo número de amostras de teste
Por exemplo, se você decidir aceitar 1 lote ruim a cada 100 como falso negativo e rejeitar 1 lote bom a cada 20, isso determina o número de amostras necessário, n
Reduzir a variância das medições diminui o número de amostras necessário para atingir o mesmo compromisso, o que se traduz diretamente em dinheiro economizado em material descartado ou custos de teste
Como quanto menor o número de amostras, melhor, Student não podia usar assintótica nem aproximações, e as aproximações podiam errar por várias ordens de grandeza. Ele chegou até a tentar testes com n = 2
Ou talvez quisesse otimizar de forma muito precisa para que o teor alcoólico não ultrapassasse o limite de tributação, mas também não ficasse baixo a ponto de decepcionar os clientes
Gosset calculou que “para obter a precisão necessária, isto é, odds de 10 para 1 com precisão de 0,5, é preciso usar a média de pelo menos quatro medições”, e o conselho da Guinness recebeu isso bem
Se isso soa como teoria subjetiva bayesiana da decisão, é porque é mesmo, mas Student, como a maioria dos estatísticos, provavelmente a teria rejeitado, enfatizando que, por lidar com uma população com taxas-base conhecidas, não havia necessidade de Bayes: era apenas teoria frequentista da decisão
Às vezes me pergunto o quão útil o teste t realmente é em comparação com dois boxplots com os pontos jitterizados, ou alguma outra indicação da quantidade de dados
Se isso não fica claro no boxplot, supondo que haja pontos suficientes, fico em dúvida se só o teste t consegue sustentar um argumento realmente convincente
O teste t pode ser calculado e verificado de forma independente