Teste do marshmallow tem baixa confiabilidade para prever funcionamento na vida adulta

Gratificação adiada e resultados na vida adulta: o teste do marshmallow não prevê de forma confiável o funcionamento na vida adulta

• Visão geral do estudo
  • Este estudo expande a abordagem analítica de Watts et al. (2018) para investigar a validade preditiva de longo prazo da gratificação adiada.
  • Os participantes (n = 702; 83% brancos, 46% homens) concluíram o teste do marshmallow aos 54 meses de idade (1995-1996) e responderam à pesquisa aos 26 anos (2017-2018).
  • Usando análises pré-registradas, os autores descobriram que o desempenho no teste do marshmallow não prevê fortemente conquistas, saúde ou comportamento na vida adulta.
  • Foram encontradas correlações modestas com desempenho educacional (r = .17) e índice de massa corporal (r = - .17), mas quase todos os coeficientes de regressão ajustados não foram significativos.
  • Não foram encontrados padrões claros de moderação entre gratificação adiada e status socioeconômico ou gênero.
  • Os resultados indicam que o desempenho no teste do marshmallow não prevê de forma confiável os resultados na vida adulta.
  • O estudo discute a validade preditiva e de construto da capacidade de adiar a gratificação.

Declaração de disponibilidade dos dados

• Este estudo foi pré-registrado no Open Science Framework (osf.io/67XFN).
• Como os dados usados no estudo atual (onda adulta do SECCYD) não são públicos, foi disponibilizada a sintaxe de análise.
• Também são fornecidas a matriz de correlação e as estatísticas descritivas das principais variáveis.
• Ondas anteriores de coleta de dados da amostra SECCYD estão disponíveis no Inter-University Consortium for Political and Social Research (icpsr.umich.edu/web/ICPSR/series/233).

Resumo do GN⁺

• Este estudo mostra que o teste do marshmallow não é confiável para prever conquistas, saúde e comportamento na vida adulta.
• Há correlações modestas com desempenho educacional e índice de massa corporal, mas a maioria dos coeficientes de regressão ajustados não é significativa.
• O estudo inclui uma discussão sobre a validade preditiva e de construto da capacidade de adiar a gratificação.
• A pesquisa é útil para reavaliar crenças anteriores sobre a validade de longo prazo dos testes de gratificação adiada.
• Como outro estudo com foco semelhante, recomenda-se o trabalho de Moffitt et al. (2011).

[GN⁺]

Comentários no Hacker News

• Os resultados do estudo original foram questionados por um estudo de 2018 em escala maior. O estudo original tinha 90 alunos, enquanto o estudo de acompanhamento avaliou 900 e encontrou a mesma correlação, mas diz-se que ela praticamente desapareceu quando se controlou a renda familiar
  A conclusão natural é que a renda familiar é um preditor tanto da capacidade de adiar a gratificação quanto do desempenho acadêmico. Ao crescer em uma família pobre, o acesso a recursos materiais é menos estável e menos previsível, então pode ser racional aproveitar oportunidades imediatas em vez de esperar por uma recompensa maior no futuro; além disso, pode haver menos apoio aos estudos. Este novo estudo vai além e considera que a própria correlação também é fraca
  [0] Watts, T. W., Duncan, G. J., & Quan, H. (2018). Revisiting the Marshmallow Test: A Conceptual Replication Investigating Links Between Early Delay of Gratification and Later Outcomes. Psychological Science, 29(7), 1159-1177. https://doi.org/10.1177/0956797618761661

  • Renda familiar é preditora de muitas coisas. Ela tem forte correlação com o CEP e funciona quase da mesma forma; a partir daí, dá para prever bastante bem até raça ou orientação política
    Muita gente pensa ingenuamente que, se removermos dados raciais explícitos, a raça desaparece do modelo, mas na prática ela continua lá de forma indireta. O mesmo vale não só para raça ou política, mas para muitos fatores, e por isso a estatística causal se torna um campo muito diferente e difícil. Aqui, preditor não significa causa, significa correlação; não gosto muito dessa palavra justamente por causar confusão
  • Não sei quanto às crianças, mas faz sentido que adultos pobres tenham mais dificuldade de controle de impulsos. Eles têm mais preocupações e menos coisas pelas quais esperar, e talvez trabalhem 12 horas por dia, não 8
    Pessoas ricas sobrecarregadas também podem ter muitos maus hábitos, mas, como têm uma carreira bem-sucedida, isso é tratado como mecanismo de enfrentamento e separado como parte da vida. Se estudos desse tipo acabam servindo para racionalizar a posição dessa classe só porque há sobreposição entre pesquisadores e a população da classe média alta, isso apenas justificaria meu cinismo
  • O fato de a maior parte da correlação desaparecer ao controlar a renda familiar não prova muita coisa. É possível que atitudes em relação a recompensas de longo prazo sejam influenciadas por fatores culturais peculiares compartilhados dentro da família, e que esses fatores afetem tanto a renda quanto o desempenho acadêmico
    Para chegar a uma conclusão, seria preciso encontrar um experimento natural em que as diferenças de renda sejam completamente exógenas e não decorram de fatores compartilhados
  • Na Tabela 3, ser branco é um preditor altamente significativo (p=0,007) de conseguir esperar mais de 7 minutos, mas na Tabela 7 o item de raça não reporta brancos em nenhum momento. Fico curioso se isso significa que as diferenças entre crianças brancas são totalmente explicadas pelo status socioeconômico e outras covariáveis
    Por outro lado, se isso significar que ser negro tem um efeito que não é explicado por outras covariáveis, seria bastante controverso
  • Não é uma conclusão tão óbvia assim. Por exemplo, também pode haver características genéticas que afetam o autocontrole

• Vários detalhes desse experimento reduziram bastante minha confiança e meu interesse pelas ciências sociais. Vindo de uma formação em biologia quantitativa, quando olho para estudos assim vejo uma longa lista de fatores que poderiam levar os pesquisadores a concluir erroneamente que a hipótese é verdadeira
  Neste caso, parece que os pesquisadores não tinham interesse suficiente em fazer um estudo de alta qualidade; partiram de crenças morais ou juízos de valor, conduziram o experimento e depois interpretaram os resultados como apoio à sua “hipótese”. Pela natureza das ciências sociais, é muito difícil fazer um experimento honesto de verdade

  • É justamente por isso que se pode ler mais de 100 anos de críticas vastas e minuciosas à maior parte das “ciências” sociais. Muita gente cresceu aprendendo que há uma diferença categórica entre ciências duras, como física e química, e ciências moles, como as ciências sociais e várias subáreas da biologia e da medicina
    Mas essa distinção desapareceu bastante do espírito da época, e agora muitas pessoas aceitam como sólido qualquer coisa publicada em uma “revista científica”. Isso é um grande retrocesso na alfabetização científica do público e está preparando o terreno para que as pessoas passem a desconfiar cada vez mais até das conclusões das ciências duras de verdade
  • Em experimentos de psicologia, parece que o diabo está sempre nos detalhes. Talvez o experimentador tenha dado sinais sutis à criança, e o teste apenas medisse quão bem a criança conseguia ler esses sinais
    Qual foi a formulação exata da “troca” proposta à criança? O resultado mudaria se a formulação mudasse? Era um período de escassez ou abundância de alimentos? Quais eram as normas culturais da época sobre “como a criança deveria se comportar”? Tudo isso pode influenciar. A média de idade das crianças ser seis meses maior ou menor também poderia mudar o resultado, e até a água, o ar e a tinta do local do teste poderiam ser relevantes
    Diante desses potenciais fatores de confusão, parece necessário ter mais estatística e controles do que em um experimento de colisão de elétrons na física. Ainda assim, mesmo em ambientes simples e reprodutíveis, os físicos estabeleceram o rigoroso critério de 5 sigmas para descobertas, enquanto outliers de 3 sigmas vêm e vão. Como é realisticamente difícil imaginar esse tipo de critério na psicologia, acho difícil que ela se torne uma ciência empírica confiável
  • Li textos em que psicólogos e sociólogos criticam esse experimento específico há anos. Ele só era popular entre pessoas na internet que se consideram “nerds descolados” e posam de especialistas em tudo
    Se você ler os textos mais tediosos dos cientistas de verdade, verá que eles já vinham levantando objeções havia anos
  • Até o efeito Dunning-Kruger é um mau uso da estatística. O efeito aparece até em amostras geradas aleatoriamente, porque os dados têm piso e teto
    Quando a pontuação é baixa, há pouco espaço para estimá-la ainda mais baixa, então é fácil superestimar a própria capacidade; quando a pontuação é alta, há pouco espaço para estimá-la ainda mais alta, então é fácil subestimar a própria capacidade
  • Há um motivo para muitos cientistas classificarem diplomaticamente as “ciências” sociais como ciências moles. Feynmann, que era um cientista menos diplomático, chamou isso de pseudociência

• O interessante é que, ao fazer o estudo original, você quer que o experimento satisfaça sua hipótese; ao construir em cima de estudos anteriores, você quer conseguir reproduzi-los. Mas, com resultados famosos assim, acontece o contrário: você acaba querendo que eles falhem, porque só assim as pessoas falam do seu resultado
  Há inúmeras maneiras pelas quais esses experimentos podem ser afetados, de forma inconsciente e sutil, pelos desejos do experimentador. Além disso, um fator de confusão interessante do teste do marshmallow é que ele mede a confiança de que a recompensa será de fato entregue tanto quanto a capacidade de esperar por ela. Se você vive em um ambiente imprevisível, é melhor simplesmente comer

  • Falando como alguém que viveu na Rússia dos anos 90 em um ambiente imprevisível, a frase mais precisa seria: “se você vive em um ambiente imprevisível, é melhor se mudar para um ambiente previsível”
    Eu vi muito mais gente poupando para o futuro e, ao contrário, fiquei surpreso ao ver mais do oposto no Canadá, que é um ambiente previsível
  • Lembro que esse fator de confusão foi usado como explicação para passar por cima, meio por alto, do problema de reprodutibilidade do teste do marshmallow, mas não lembro quem de fato o verificou
    Este texto é todo bobagem, então parece mostrar mais que dá para inventar qualquer fator de confusão e explicar com ele
  • Os recursos para estudos de reprodução são finitos, então é preciso alocá-los. Quanto mais famoso o resultado, maior a tendência de atrair excelentes e céticas tentativas de reprodução
    Esse método sempre me pareceu bastante razoável. Só que reproduzir leva tempo, e algumas pessoas tratam como uma catástrofe o fato de resultados “ruins” não serem corrigidos imediatamente
  • Isso claramente acontece às vezes. Quando vi o artigo frequentemente citado para “refutar” Dunning-Kruger, fiquei surpreso com o quão ruim era a metodologia
    https://www.lesswrong.com/posts/6Tqm8Jet9mzo6buj9/the-dunnin...

• Praticamente todos os estudos que aprendi em Psicologia AP no ensino médio falharam na reprodução, incluindo este. Em retrospecto, aquela aula foi, na melhor das hipóteses, uma perda de tempo; na pior, forneceu informações ruins para decisões de vida

  • A reputação de autores assim deveria ser arrastada pela lama. A página da Wikipédia de Daniel Kahneman não o faz parecer um fraudador, mas ele citou com confiança estudos que não foram reproduzidos e também deu seu aval a dados falsos de outros fraudadores
  • Psicologia e psiquiatria não são ciências, mas ramos pseudocientíficos da filosofia, como a osteopatia ou a frenologia. Em vez de fazer experimentos controlados e reprodutíveis, diagnósticos clínicos baseados em evidências ou medir e examinar o órgão que afirmam tratar, elas se parecem mais com um grupo religioso que lê folhas de chá

• Outra interpretação do teste do marshmallow é que ele mede confiança tanto quanto autocontrole. Se a criança não acreditar que o pesquisador vai lhe dar dois marshmallows, ela não vai esperar

  • Baixa confiança no pesquisador explicaria baixa motivação para desempenho acadêmico ;)
  • Isso parece exigir testes repetidos. Nas primeiras rodadas, seria preciso fazer de um jeito em que não haja recompensa depois
  • Ou talvez seja uma completa bobagem sem nenhum poder preditivo, que pode ser interpretada como se quiser
  • Ou talvez o segundo marshmallow não seja tão atraente assim. Se oferecem um agora ou dois depois, a pessoa pode escolher um agora porque não quer dois

• Crianças que confiam nos adultos que fazem promessas tendem a adiar a gratificação
  https://pubmed.ncbi.nlm.nih.gov/26799458/
  Também faz sentido do ponto de vista da teoria dos jogos. Se você tem um modelo interno com uma distribuição a priori normal para o tempo de espera até que adultos cumpram promessas — isto é, a experiência de que a maioria dos adultos na sua vida tende a cumprir promessas — então esperar é racional
  Por outro lado, se pela experiência você deve assumir uma distribuição a priori de lei de potência, é totalmente racional cortar as perdas em algum momento. Essa interpretação é até bonita, em certo sentido, porque significa que o sucesso na vida está correlacionado com pais confiáveis; e, considerando o fator tempo, imagino que haja causalidade de fato

• Algum dos testes psicológicos famosos já foi reproduzido?

  • O experimento de conformidade de Asch parece se reproduzir: https://journals.plos.org/plosone/article?id=10.1371/journal...
    Além disso, experimentos de psicologia tendem a ficar famosos justamente por serem controversos, e isso por si só pode criar um viés desfavorável à reprodutibilidade. Talvez experimentos psicológicos tediosos, com resultados pouco surpreendentes, sejam reproduzidos sem problema com frequência
  • Tenho bastante certeza de que o teste “você publicaria bobagens como se fossem fatos por fama ou dinheiro?” foi reproduzido muitas vezes em várias áreas
  • O experimento da apatia do espectador foi reproduzido várias vezes, e o experimento de Milgram também
  • https://www.bps.org.uk/research-digest/ten-famous-psychology...
    É um tema complicado de várias maneiras

• No meu círculo, anedoticamente, isso acabou batendo. Entre as pessoas que cresceram e estudaram comigo, aquelas que adiavam a gratificação imediata e tinham objetivos de longo prazo se saíram bem, enquanto as que viviam sem plano, deixando a vida levar, ficaram no lado de mal conseguir se manter
  Na minha própria vida também houve uma grande diferença de resultados entre quando eu tinha metas ou uma visão e quando simplesmente ia levando. Acho que é preciso ter metas, visão e critérios em áreas importantes — hobbies, parceiro(a), carreira, família e relacionamentos

  • Se você não aplicou o teste do marshmallow nos seus amigos quando eles eram pequenos, sinceramente nem sei se estamos falando da mesma coisa. O estudo original foi um caso de aplicar uma enorme extrapolação a um fenômeno muito estranho e específico
    “Dar certo na vida”, “adiar a gratificação” e “objetivos de longo prazo” estão longe de ser características concretamente mensuráveis. Por exemplo, como avaliar alguém que sempre espera os jogos entrarem em promoção, mas, por insegurança alimentar, não consegue recusar nem comida grátis pouco saudável? Para avaliar esse tipo de característica, há incontáveis variáveis. O que esse estudo diz é que provavelmente não é sensato extrapolar grandes conclusões a partir de um indicador pequeno
  • Se esse traço de personalidade existe, é bastante obviamente verdade que ele é importante para o sucesso. Mas saber se dá para medir esse traço colocando um marshmallow na frente de uma criança de quatro anos e meio é uma pergunta completamente diferente
  • No meu círculo, os dois lados foram possíveis. Uma pessoa foi para uma universidade da Ivy League e acabou entrando em um emprego técnico comum, e outra se formou na Ivy League, mas teve dificuldade para encontrar trabalho
    Por outro lado, pessoas que viviam deixando a vida levar também chegaram ao mesmo tipo de emprego técnico comum, e pessoas que fracassaram na escola e mal concluíram um community college hoje têm pequenos negócios bem-sucedidos porque continuaram abrindo o próprio caminho
  • Não acho que seja necessariamente assim. Conheço muita gente que se move de forma oportunista, e não orientada por metas, e mesmo assim a vida deu bastante certo. Ter metas para parceiro(a), família e relacionamentos soa como receita para o desastre
  • É por isso que esse tipo de pesquisa psicológica fajuta é sutilmente nocivo. Pode até haver um efeito real, mas talvez não seja um efeito no nível de bebês e marshmallows

• Algumas áreas de pesquisa sempre serão arte, não ciência. Literatura, arte e psicologia humana são assim
  Bons escritores, artistas e terapeutas podem fazer contribuições realmente grandes, mas não conseguem conduzir experimentos rigorosos e estabelecer a verdade em números. E tudo bem
  O que não está bem é a turma de psicólogos acadêmicos que, por não ter formação em disciplinas quantitativas e “duras”, nem percebe que está falando bobagem. Aqui, “duras” não quer dizer difíceis, mas bem definidas

• Crescendo, lembro de ter passado por situações como o teste do marshmallow, mas nelas não aprendi a adiar a gratificação; aprendi que, se você espera ou se sacrifica, vira trouxa
  “Se você abrir mão disso agora, eu te dou dois depois” muitas vezes virava “não existe um segundo marshmallow, e você também não recebe o primeiro de volta”. Quantas vezes outras crianças precisam passar por isso para aprender a não adiar a gratificação? Chamam isso de “falta de controle de impulsos”, mas eu chamaria de algo aprendido pela experiência

  • A escassez de comida ensina isso rapidamente. Quase todo emprego nas faixas salariais mais baixas funciona assim
    Promessas como “se você fizer atendimento ao cliente para esta grande empresa de tecnologia, poderá entrar em uma função no departamento corporativo”, mas, na prática, a proporção de pessoas contratadas que conseguem isso fica próxima de 0%. Uma das coisas boas do Reddit é que ele tornou bem visível o sistema de promessas que não serão cumpridas que move a maior parte do varejo e dos serviços