Estatística bayesiana: três culturas

Bayes subjetivo (Subjective Bayes)

• A escola tradicional do bayesianismo subjetivo assume uma distribuição geradora dos dados (isto é, a verossimilhança como função dos parâmetros)
• Condicionando-se a essa suposição, codifica crenças prévias como uma distribuição a priori sobre os parâmetros
• Em seguida, realiza inferência posterior e não olha mais para trás
• Hoje, não está claro se alguém segue essa filosofia de forma rigorosa ou se se considera parte da escola do bayesianismo subjetivo

Bayes objetivo (Objective Bayes)

• A filosofia do "Bayes objetivo" surge da combinação entre querer fazer teste de hipóteses (usando fatores de Bayes) e sentir fortemente o que Andrew chama de "bayes cringe"
• Citando um artigo de um de seus principais defensores:

A análise de referência produz inferência bayesiana objetiva no sentido de que as afirmações inferenciais dependem apenas do modelo assumido e dos dados disponíveis, e no sentido de que a distribuição a priori usada na inferência contém a menor quantidade possível de informação em termos de teoria da informação

• Pelo fato de ainda haver conferências e livros com "Objective Bayes" no título, parece que ainda há muitas pessoas fazendo trabalhos caracterizados por essa abordagem
• Está por trás, em certa medida, dos priors gamma(epsilon, epsilon) e normal(0, 10_000) amplamente usados em exemplos do BUGS

Bayes pragmático (Pragmatic Bayes)

• Andrew segue a filosofia que chama de "Bayes pragmático"
• Ela é apresentada com clareza na primeira edição do livro de Gelman, Carlin, Stern e Rubin, "Bayesian Data Analysis"

1. Definir um modelo probabilístico completo, uma distribuição de probabilidade conjunta para todas as quantidades observáveis e não observáveis. O modelo deve ser coerente com o problema científico subjacente e com o processo de coleta de dados
2. Calcular e interpretar a distribuição posterior apropriada, a distribuição de probabilidade condicional das quantidades não observáveis de interesse dado os dados observados
3. Avaliar o ajuste do modelo e as implicações da distribuição posterior resultante: quão bem o modelo se ajusta aos dados, se as conclusões substantivas são razoáveis e quão sensíveis os resultados são às suposições do modelo no passo 1. Em resposta, o modelo pode ser modificado ou expandido, e os três passos podem ser repetidos

• Esse é exatamente o processo que Andrew acabou chamando de "workflow"

Procedimento operacional padrão na engenharia

• Esse é o procedimento operacional padrão na engenharia, chamado de "projeto iterativo"
• Quase todo aprendizado de máquina é feito dessa forma
• Vindo de uma formação em CS e ML, fiquei chocado ao descobrir que estatísticos não pensam dessa maneira

Observação sobre a estratégia ao escrever o BDA

• Andrew diz que, no início da escrita da primeira edição do BDA, tomou a decisão explícita de pular a filosofia e simplesmente "fazer" ciência
• Nem ele nem Rubin deram um nome ao seu processo de projeto iterativo
• Essa foi uma escolha sábia, porque é difícil caracterizar com precisão as crenças filosóficas dos outros e ainda mais difícil mudá-las por meio de debate
• Se o método científico precisa de uma cláusula de isenção filosófica, provavelmente não é uma ciência muito convincente

Observação sobre verossimilhança vs a priori

• Concordo com a visão de Andrew de que a escolha da distribuição a priori não é mais "subjetiva" nem menos "subjetiva" do que a escolha da verossimilhança
• Andrew resume isso de forma concisa no texto "straining on the prior distribution while swallowing the likelihood camel"

Observação sobre crença vs conhecimento

• Do ponto de vista filosófico, prefiro caracterizar epistemologicamente a priori e verossimilhança em termos de "conhecimento" em vez de "crença"
• Esse é o enquadramento inicialmente apresentado por Laplace e explorado de forma mais profunda por John Stuart Mill, seguido por Gelman e outros no BDA

Observação sobre a etimologia deste post

• Em 1959, C.P. Snow escreveu o famoso ensaio "Duas culturas" sobre arte vs ciência
• Em 2001, L. Breiman escreveu o influente ensaio "Statistical Modeling: The Two Cultures" sobre a distinção entre modelar explicitamente o processo gerador e usar modelos muito flexíveis
• Breiman defendia florestas de decisão em seu trabalho, e sua abordagem ainda vence em competições do Kaggle em que não há dados suficientes para treinar redes neurais de ponta
• Fico me perguntando se Andrew considera florestas de decisão e redes neurais como um exemplo do que ele chamou de "flor que desabrocha"

Opinião do GN+

• As duas abordagens tradicionais, Bayes subjetivo e Bayes objetivo, são extremas demais. A abordagem do Bayes pragmático oferece um meio-termo realista e útil
• Concordo com a visão de que a escolha da distribuição a priori é tão subjetiva quanto a escolha da verossimilhança. Todos os componentes do modelo envolvem subjetividade e suposições
• A abordagem de "workflow" de avaliar o modelo, verificar o desempenho preditivo e iterar quando necessário deveria se tornar o padrão na ciência
• O uso de distribuições a priori informativas com base em dados passados não é raro e deveria ser mais aproveitado em análises bayesianas
• Em última instância, é uma estratégia sábia focar menos na filosofia da inferência bayesiana e mais em realmente fazer ciência. Ainda assim, às vezes vale a pena discutir os fundamentos da inferência