Reavaliação do efeito irracional do “juiz faminto” (2023)
(cambridge.org)- O famoso resultado de que a proporção de decisões favoráveis no conselho de liberdade condicional de Israel cai bruscamente antes das pausas e se recupera depois delas pode estar bastante inflado não só por distorção real no julgamento, mas também por um artefato estatístico
- O estudo original interpretou que a probabilidade de uma decisão favorável caía de cerca de 65% no primeiro julgamento da sessão para quase 0% no último, voltando a 65% após a pausa para comida, e associou isso à possibilidade de esgotamento mental
- O ponto central da reanálise é que decisões favoráveis levam mais tempo do que decisões desfavoráveis; nos dados da DLA, decisões favoráveis levavam em média 7,37 minutos e desfavoráveis 5,21 minutos, de modo que menos casos favoráveis podem permanecer na amostra no fim da sessão
- Se assumirmos um juiz racional que adia para a sessão seguinte casos difíceis de concluir no tempo restante, uma curva de queda semelhante à da DLA aparece mesmo com ordem aleatória dos casos, e remover os 5% finais de cada sessão aumenta ainda mais esse efeito
- Só com os dados originais não é suficiente concluir que fatores exógenos distorceram fortemente o julgamento legal; é preciso separar efeitos de ordem e de fome de fatores como gestão racional do tempo e distribuição não aleatória dos casos
Resultado original do “juiz faminto”
- Danziger, Levav e Avnaim-Pesso (DLA) analisaram 1.112 decisões do conselho de liberdade condicional de Israel e concluíram que a ordem dos casos dentro da sessão estava relacionada à probabilidade de uma decisão favorável
- O conselho realizava três sessões por dia, separadas por um lanche no fim da manhã e pela pausa para almoço
- A análise cobria cerca de 40% dos pedidos de liberdade condicional em Israel
- O resultado central da DLA foi que a proporção de decisões favoráveis era de cerca de 65% no primeiro julgamento da sessão, mas caía para quase 0% no último
- Após a pausa para comida, na sessão seguinte, a taxa de decisões favoráveis voltava para cerca de 65%
- A DLA interpretou com cautela que, após decisões repetidas, os juízes poderiam entrar em estado de fadiga, fome ou esgotamento mental, passando a optar mais facilmente pela estratégia de manter o status quo, isto é, negar o pedido
- Esse efeito foi amplamente citado em psicologia, direito, economia e outras áreas, porque sugeria que decisões legais poderiam oscilar por causa de fatores juridicamente irrelevantes, como a ordem do caso ou o fato de o juiz ter comido
- O número de citações era de 222 no Google Scholar em 27 de fevereiro de 2015
Dúvidas sobre o tamanho do efeito
- A queda observada pela DLA era muito grande
- A redução de 65% para 5% em decisões favoráveis corresponde a uma odds ratio de 35 ou a uma diferença média padronizada de d = 1,96
- Isso é mais que o dobro do que normalmente seria considerado um “grande efeito”
- O tamanho é ainda mais chamativo quando comparado à hipótese de que a causa seria esgotamento mental
- A estimativa corrigida por viés de publicação de Carter e McCullough foi de d = –0,10 a 0,25, sugerindo apenas efeitos pequenos em média
- Um estudo de replicação pré-registrado com múltiplos laboratórios, envolvendo 23 laboratórios e N = 2.142, encontrou d = 0,04, sem diferença significativa em relação a 0
- Portanto, se o efeito da DLA realmente fosse causado por esgotamento mental, isso implicaria um fenômeno muito maior no ambiente judicial do que o esperado a partir dos estudos de laboratório
Fatores de confusão entre ordem dos casos e momento da pausa
- Para sustentar um efeito de ordem dos casos, a distribuição dos casos teria de ser aleatória, ou pelo menos fatores ocultos não incluídos na análise não poderiam influenciar ao mesmo tempo a ordem e a decisão
- A DLA controlou variáveis como gravidade do crime, encarceramento anterior, meses já cumpridos, participação em programas de reabilitação e taxa anterior de decisões favoráveis, concluindo que o resultado era robusto
- Weinshall-Margel e Shapard contestaram isso com base em entrevistas informais com participantes do processo de liberdade condicional, argumentando que a ordem dos casos não era aleatória
- Segundo eles, presos sem advogado geralmente iam para o fim da sessão e tinham menor chance de obter liberdade condicional do que presos com advogado
- A DLA respondeu que a tendência de queda permanecia mesmo controlando a presença de advogado, mas não informou se o tamanho do efeito continuava o mesmo
- O momento das pausas também é uma variável importante
- A DLA considerou que as características dos casos não previam quando a pausa ocorreria
- Nas entrevistas de Weinshall-Margel e Shapard, porém, apareceu a afirmação de que o juiz podia seguir um plano organizado para concluir dentro de uma mesma sessão um conjunto de casos, como os de uma determinada prisão
Evasão seletiva e gestão racional do tempo
- O ponto de partida da reanálise é o fato de que decisões favoráveis levam mais tempo do que decisões desfavoráveis
- Nos dados da DLA, decisões favoráveis levaram em média 7,37 minutos, com desvio-padrão de 5,11 minutos
- Decisões desfavoráveis levaram em média 5,21 minutos, com desvio-padrão de 4,97 minutos
- O número de casos tratados por sessão não era constante
- As sessões da manhã tinham em média 7,8 casos, desvio-padrão de 4,51, mínimo de 2 e máximo de 28
- As sessões após o lanche e antes do almoço tinham em média 11,4 casos, desvio-padrão de 5,14, mínimo de 2 e máximo de 25
- Se decisões favoráveis demoram mais, então conforme a sessão avança os casos com decisão favorável podem sair seletivamente da amostra
- Sessões compostas principalmente por decisões desfavoráveis conseguem processar mais casos
- Assim, nas observações de ordem mais alta, permanecem proporcionalmente mais casos vindos de sessões com muitas decisões desfavoráveis
- O comportamento de um juiz que evita iniciar um caso demorado pouco antes da pausa pode ser uma forma racional de administrar o tempo
- Pelo volume de documentos, tipo de pedido, presença de advogado e outros sinais superficiais ligados ao advogado, à prisão ou ao preso, é possível prever até certo ponto se o caso será mais longo ou mais curto
- Esse planejamento não exige necessariamente supor que o juiz já saiba de antemão o mérito jurídico do caso ou o resultado da decisão
Simulação do juiz racional
- A simulação assume um juiz ideal hipotético que decide sem erro nem viés
- O juiz impõe um limite aproximado de tempo para cada sessão e, se o próximo caso parecer ultrapassar esse limite, não o julga na sessão atual e o transfere para o início da sessão seguinte
- A simulação gera 10.000 casos em ordem aleatória
- A proporção básica de casos com decisão favorável é de 36%, e de desfavoráveis, 64%
- O tempo de decisão reflete a diferença de médias entre casos favoráveis e desfavoráveis, com ruído em distribuição normal ou distribuição de Weibull com assimetria positiva
- O limite de tempo por sessão é fixado em 60 minutos
- Mesmo com ordem aleatória dos casos e um juiz racional, surge um padrão em que a probabilidade de decisão favorável cai bastante no fim da sessão
- Tanto com distribuição normal quanto com distribuição de Weibull os resultados são qualitativamente semelhantes
- Nas posições mais altas há poucas observações restantes, então a estimativa fica instável e pode gerar picos de 0% ou de taxas elevadas
- Esse mecanismo ocorre porque, quanto menos tempo resta, menor a chance de um caso favorável caber na sessão
- No exemplo, com 15 minutos restantes, a maioria dos casos favoráveis e desfavoráveis ainda pode ser iniciada
- Com 5 minutos restantes, apenas 12% dos casos favoráveis conseguem entrar, enquanto 46% dos desfavoráveis ainda entram
- Assim, na amostra do fim da sessão, a proporção relativa de casos favoráveis diminui
Alta no começo da sessão e censura dos dados
- Tanto a simulação quanto os dados da DLA mostram um fenômeno em que a taxa de decisões favoráveis no primeiro julgamento da sessão fica acima da taxa básica
- Como a sessão tem maior chance de terminar logo antes de uma decisão favorável, a massa de probabilidade de casos favoráveis excluídos no fim da sessão anterior se desloca para o primeiro julgamento da sessão seguinte
- Se às vezes houver planejamento por blocos de casos, isso também pode explicar por que o segundo e o terceiro julgamentos aparecem acima da taxa básica
- A DLA removeu os 5% finais dos casos de cada sessão para reduzir o problema de amostras muito pequenas nas posições mais altas
- Na simulação da reanálise, essa censura (censoring) não reduz a queda; ao contrário, ela a amplia
- A censura aumenta artificialmente a evasão seletiva
- Ao analisar o efeito da posição na taxa de decisões favoráveis, esse tipo de censura deve ser evitado
- Nos dados da DLA, também há autocorrelação positiva entre decisões anteriores e posteriores
- Quando a simulação acrescenta autocorrelação de primeira ordem de r = .10, o tamanho do artefato não muda de forma perceptível
Quando não há previsão prévia
- A simulação anterior supõe que o juiz consegue prever até certo ponto a duração do próximo caso e evita iniciar casos que ultrapassariam o limite da sessão
- A DLA afirmou que os membros do conselho não conheciam de antemão os detalhes do caso seguinte, então assumir previsibilidade completa pode ser uma condição forte demais
- A reanálise também testou o cenário em que, sem previsão, o juiz apenas para a sessão depois de ultrapassar o limite de tempo
- Sem censura e sem autocorrelação, o artefato desaparece
- Com censura e autocorrelação, o efeito de queda reaparece
- Isso acontece porque decisões favoráveis levam mais tempo e, portanto, têm maior chance de ultrapassar o limite
- Ao remover os 5% finais da sessão, o último caso frequentemente é excluído, e esse último caso tem maior probabilidade de ser favorável do que desfavorável
- Na condição sem previsão, a queda criada pela censura é de cerca de 15%, menor do que na simulação com previsão
Limitações restantes e conclusão
- A reanálise não exclui que efeitos de ordem ou de esgotamento mental possam ter influenciado os dados jurídicos da DLA
- Mas uma parte substancial da grande queda observada pode surgir mesmo sem fatores exógenos, apenas por gestão racional do tempo e evasão seletiva
- Gestão racional do tempo e evasão seletiva não explicam todas as características dos dados da DLA
- O tamanho do efeito na simulação é um pouco menor que o efeito original
- Nos dados originais, a taxa inicial da sessão era 65%, e não 45%, sendo especialmente difícil explicar a taxa da primeira sessão do dia apenas com esse mecanismo
- O efeito do horário em si relatado pela DLA não é facilmente explicado por um artefato baseado apenas na posição do caso
- A curva empírica é mais suave, enquanto a curva simulada mostra quedas mais fortes no início e no fim, com uma parte central mais plana
- Se, no contexto da DLA, a previsão direta sobre o próximo caso era de fato limitada, a queda explicável por gestão racional do tempo é estimada em cerca de 15% a 45%
- Os dados originais não puderam ser usados para análises adicionais mais detalhadas
- Os pesquisadores da DLA estariam dispostos a compartilhar os dados, mas quem havia concedido o acesso inicial os impediu de fazê-lo
- Como também não foi possível reconstruir completamente o ambiente exato das decisões, as questões restantes exigem estudos futuros
- O efeito original de ordem e o efeito de esgotamento mental podem ter sido superestimados
- Misturam-se ali gestão racional do tempo em torno das pausas, ordem não aleatória com casos com advogado aparecendo antes e possíveis efeitos reais de ordem ou esgotamento mental
- Se esses componentes forem separados, as estimativas para efeitos de ordem ou esgotamento tendem a ficar menores
- De forma mais ampla, até comportamentos que parecem irracionais podem ter uma base racional não intuitiva
- Simulações computacionais e análises matemáticas formais são ferramentas para encontrar essa possibilidade
- Antes de concluir que agentes jurídicos ou indivíduos agem de forma fortemente irracional, deveríamos usar mais cedo e com mais frequência simulações de agentes racionais e análises formais
1 comentários
Comentários no Hacker News
O estudo original parece ter sido falho por não considerar a ordem de processamento dos casos
Ficou de fora o fato de que casos menos graves eram tratados primeiro, enquanto casos mais graves — isto é, com punições mais pesadas — eram empurrados para depois
“Danziger et al. dependem fortemente da premissa de que a ordem dos casos é aleatória e, portanto, independente do processo decisório. Essa premissa foi fortemente refutada. Keren Weinshall-Margel e John Shapard, em uma resposta curta e muito crítica na PNAS, analisaram os dados do estudo original e outros dados que eles próprios coletaram, além de fazer entrevistas adicionais com funcionários relevantes dos tribunais. Eles apontam que a ordem dos casos não é aleatória. Os painéis tentam tratar todos os casos de uma prisão antes do intervalo e, depois do intervalo, passam para os casos da prisão seguinte. Em especial, os pedidos de presos sem advogado normalmente são tratados no fim de cada sessão. Por isso, presos sem representação legal têm menor probabilidade de receber uma decisão favorável do que presos com representação. Além disso, advogados muitas vezes representam vários presos e definem a ordem de apresentação dos casos, e é perfeitamente possível que comecem pelos casos mais fortes”
[1] Chatziathanasiou, K., 2022. Beware the lure of narratives:“hungry judges” should not motivate the use of “artificial intelligence” in law. German Law Journal, 23(4), pp.452-464
Não seria melhor distribuir os casos aleatoriamente?
Interessante. O estudo original ficou conhecido pelo resultado de que os juízes eram mais indulgentes logo após o almoço e mais rigorosos imediatamente antes do almoço
Este novo estudo contesta a força dessa conclusão ao mostrar que decisões positivas levam mais tempo e que, logo antes do intervalo, é possível encaixar mais decisões negativas simples. Aqui, a decisão negativa é a recusa de liberdade condicional, então termina mais rápido
A ideia é que os juízes não querem começar, logo antes do intervalo, um caso complexo com maior probabilidade de terminar em uma conclusão favorável. Eu citei o estudo original inúmeras vezes, mas esta revisão trouxe muito mais contexto
Se isso fosse verdade, os acidentes de trânsito deveriam disparar enormemente perto da hora do almoço, e o efeito teria de ser grande o bastante para que, pelo bom senso, dirigir pouco antes do meio-dia fosse proibido
“Se a fome afetasse nossos recursos mentais nessa magnitude, a sociedade entraria em um pequeno caos todos os dias às 11h45. No mínimo, a sociedade teria se organizado em torno desse efeito incrivelmente forte de esgotamento mental.”
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
Em contexto parecido, há também um estudo famoso sobre a correlação entre o início do horário de verão e o aumento de ataques cardíacos [0]
[0] https://www.sciencedirect.com/science/article/pii/S254245482...
Textos relacionados:
Do judges give out tougher sentences when hungry? A study too good to be true - https://news.ycombinator.com/item?id=35491060 - abril de 2023, 202 comentários
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=22020716 - janeiro de 2020, 1 comentário
Rebuttal to hungry judges give harsher sentences - https://news.ycombinator.com/item?id=19958435 - maio de 2019, 1 comentário
Impossibly Hungry Judges (2017) - https://news.ycombinator.com/item?id=18112378 - outubro de 2018, 58 comentários
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=14701328 - julho de 2017, 70 comentários
Do hungry judges give harsher sentences? - https://news.ycombinator.com/item?id=2438189 - abril de 2011, 1 comentário
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
Estatística que lida com objetos de comprimentos diferentes é complicada. Isso me lembra a época em que eu fazia amostragem de pacotes em LANs
A distribuição de comprimentos era bimodal, então cálculos estatísticos que pressupunham uma média acabavam gerando interpretações equivocadas
Há alguns macetes para resolver isso e, em termos gerais, chama-se “periodogram”
https://en.wikipedia.org/wiki/Least-squares_spectral_analysi...
https://www.mathworks.com/help/signal/ug/spectral-analysis-o...
Acho estranho ninguém citar The Rape of the Lock, de Alexander Pope
“The hungry judges soon the sentence sign,
And wretches hang that jury-men may dine;”
(https://rpo.library.utoronto.ca/content/rape-lock-canto-3)
É interessante, nunca tinha visto isso. Como já vi algo parecido relacionado ao tabagismo, agora fico curioso sobre um efeito de juízes viciados, por exemplo em cigarro
Até que ponto as atuais falhas de reprodução podem se dever ao fato de os observados conhecerem o fenômeno e o corrigirem conscientemente?
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
O efeito original já era conhecido como correlação espúria desde a época da publicação
Parece um estudo mostrando que, quando há limite de tempo, até juízes racionais tentam processar os casos mais rápido e podem tender a decisões desfavoráveis
A hora do almoço e provavelmente o fim do expediente são esses limites de tempo, então, à medida que o almoço se aproxima, as decisões favoráveis diminuem e voltam a subir logo depois do almoço
Ainda assim, acho estranho o estudo dizer que “a análise de DLA não fornece evidência decisiva para a hipótese de que fatores externos influenciam decisões legais”. Se hora do almoço e fim do expediente não são fatores externos, então o que são?
Dito isso, a explicação acima só explica parte da descoberta original, e o estudo também reconhece que outros fatores atuam
Os juízes racionais simulados são “ideais”, e suas decisões não são influenciadas pela ordem dos casos nem pelo tempo decorrido desde a pausa
O que o estudo diz é que, apesar desse comportamento perfeito, em alguns métodos de simulação que determinam quando fazer pausas, casos favoráveis podem ter maior probabilidade de serem alocados no início da sessão. Na última simulação, esse efeito só aparece depois de aplicar o mesmo tratamento estatístico do estudo original
Depois de ler o estudo original, passei anos sem marcar reuniões antes do almoço; droga
Falando um pouco mais sério, eu faço o contrário. É para evitar que as pessoas desviem por causa da fome e para não dividir a manhã em dois blocos interrompidos
Seria interessante comparar com casos em que o resultado padrão é o oposto
O detento está na prisão e continuará na prisão
Se a estrutura fosse tal que o detento fosse solto caso os juízes não argumentassem por que ele deveria continuar preso, o resultado mudaria? Claro, parece que seria bastante complicado