Por que há tantos cultos na comunidade racionalista?
(asteriskmag.com)- Pequenos e estranhos grupos de crença dentro da comunidade racionalista surgiram repetidamente, e alguns estiveram ligados a casos reais de violência
- Esse fenômeno decorre do fato de que o conteúdo que enfatiza métodos de pensamento racional (Sequences) promete uma técnica para “pensar melhor”, mas na prática não consegue cumprir essa promessa
- Pessoas em posição vulnerável têm maior probabilidade de se envolver com grupos nocivos na comunidade e, muitas vezes, ficam isoladas do mundo externo, o que dificulta sair deles
- A ligação entre crenças internas e ações do grupo, a atitude de levar ideias muito a sério e o isolamento social podem provocar disfunções graves
- É difícil impedir completamente o surgimento de cultos racionalistas, mas manter conexão com a realidade externa, diversidade social e estruturas organizacionais saudáveis pode reduzir os danos
Introdução
- A comunidade racionalista é um conjunto de pessoas que se formou a partir da série de posts de blog “Sequences”, escrita pelo pesquisador de IA Eliezer Yudkowsky
- A série trata de como pensar de forma racional, e seria de se esperar que os membros da comunidade fossem exemplos de pensamento crítico e ceticismo
- No entanto, na prática surgiram dentro da comunidade grupos estranhos e nocivos, como pequenos grupos bizarros que diziam se comunicar com demônios, casos de violência e grupos que causavam trauma
- Entre os casos mais conhecidos estão os Zizians, um grupo vegano, anarquista e transumanista, além de Black Lotus e Leverage Research
- O autor faz parte da comunidade e, por meio de entrevistas aprofundadas, obteve um nível inédito de acesso e franqueza
O problema dos jovens racionalistas
-
A comunidade racionalista, no geral, funciona bem, mas alguns grupos apresentam uma estrutura profundamente disfuncional
-
As “Sequences” prometem “a arte de pensar melhor” e um futuro extraordinário, mas, na realidade, essa promessa é impossível de cumprir
-
Muitos entrevistados apontam que esse tipo de conteúdo fornece a matéria-prima para cultos
-
Eliezer Yudkowsky não se mostra muito interessado em construir um senso de coletividade, mas pessoas que chegam de fora frequentemente desejam transformação conduzida por uma autoridade e uma missão heroica
-
Em alguns grupos, a disfunção vem do líder (por exemplo, Brent Dill, da Black Lotus); em outros, dinâmicas tóxicas surgem espontaneamente de baixo para cima (como na Leverage Research)
-
Pessoas vulneráveis tendem a se tornar presas fáceis de grupos isolados e também têm mais dificuldade para sair quando a situação se deteriora
-
No início, a comunidade ajudava membros mais imaturos, mas aos poucos as pessoas bem-sucedidas passaram a retirar esse apoio
-
Recém-chegados sem suporte se tornam alvos mais fáceis de grupos internos nocivos
A gravidade das crenças
-
Dentro de grupos disfuncionais, mais do que isolamento social e manipulação por parte do líder, o fator central são as próprias crenças
-
Por exemplo, no caso dos Zizians, uma teoria da decisão radical (a crença de que ameaças devem ser respondidas de forma incondicional) se ligava diretamente ao comportamento real
-
A Leverage Research tentava compreender a estrutura interna dos membros e resolver seus problemas por meio de uma teoria unificada da psicologia chamada “Connection Theory”
-
Ao tentar ajustar o próprio comportamento a esse tipo de modelo psicológico simplificado, chegaram até a provocar problemas mentais
-
Brent Dill levava os membros a interpretar o mundo e os outros de forma cínica, e isso funcionava como desconfiança coletiva e como o dano mais fundamental do grupo
-
Quando racionalistas rejeitam confiar em especialistas e tentam pensar por conta própria, surge paradoxalmente o risco de delegar o próprio pensamento a líderes carismáticos
-
“Levar ideias a sério” e “ter agência” são virtudes em si, mas, quando mal aplicadas, podem levar a comportamentos perigosos e fora das normas
Cautela com a psicologia
-
Em grupos problemáticos, tornou-se rotina discutir por longos períodos e com alta intensidade filosofia, psicologia e relações internas do grupo
-
Em contraste, em grupos saudáveis da Bay Area, o foco tendia a estar em atividades externas ou realizações concretas (programação, jogos etc.)
-
Também houve casos em que membros da Black Lotus ganharam confiança ao assumir papéis realmente importantes
-
Na Leverage Research, os subgrupos que trabalhavam em projetos concretos (como desenvolvimento de criptomoedas) também eram mais saudáveis
-
O excesso de discussão emocional interna e análise psicológica aprofunda a disfunção, a ansiedade, o isolamento e o rompimento com a realidade
-
Quando um grupo sem objetivos externos concretos prolonga indefinidamente os debates internos, dinâmicas nocivas se intensificam
-
Se longas explorações de psicologia de grupo e emoções fazem parte do cotidiano, isso é sinal de que algo está errado, mesmo que não se trate de um culto
Os riscos do consequencialismo
- Levar uma visão de mundo consequencialista muito a sério pode justificar devoção excessiva ao líder e sacrifício pessoal
- O frequente discurso sobre AGI (risco existencial ligado à inteligência artificial) na comunidade racionalista gera tensão e obsessão dentro dos grupos
- Pessoas que não têm capacidade de contribuir para a IA podem acabar se apegando a projetos alternativos ou pequenos grupos, tornando-se mais vulneráveis à disfunção
- Uma grande causa moral (como uma crise da humanidade) pode fazer até assuntos cotidianos receberem significado excessivo
- Na prática, superar crises é uma sequência de tarefas simples e repetitivas, mas muitos perseguem fantasias heroicas que não correspondem a isso
Cautela com o isolamento
- Isolamento social, conformismo interno e rompimento com o mundo exterior são fatores centrais para o agravamento da disfunção
- Um dos sinais mais claros de que um grupo pode ser um culto é quando os membros deixam de circular fora de casa ou do escritório
- Uma realidade definida apenas internamente, a exclusão de críticos e a vigilância mútua levam ao pensamento de grupo e ao excesso de crença
- O padrão de morar na mesma casa e deixar que o grupo forneça todas as necessidades enfraquece a independência e a capacidade de atuar no mundo externo
- O secretismo, em que nem mesmo os grupos internos compartilham informações entre si, também é um problema, e a combinação de denúncias e falta de comunicação cria um ciclo vicioso
Conclusão e sugestões
- As disfunções da comunidade racionalista não são necessariamente mais graves do que em outros lugares; elas apenas aparecem de um jeito “mais interessante”
- A tendência característica da comunidade de “transformar crenças em ações” e “viver de forma diferente da sociedade em geral” é uma das causas, mas não pode ser eliminada por completo
- Em nível individual e comunitário, estratégias como as abaixo podem ajudar a reduzir a disfunção
Recomendações para indivíduos
- Se conversas longas sobre relações humanas e emoções dentro do grupo se tornam constantes, isso é um sinal de alerta
- Buscar atividades com critérios objetivos de realização e criar pontos de contato com a realidade externa
- Manter relações com grupos sociais diversos
- Separar trabalho, moradia e tratamento/terapia
- Mesmo que todos no grupo acreditem em algo, buscar validação de pessoas de fora ou verificação independente
- Se uma longa cadeia de lógica abstrata acaba concluindo que “é aceitável ferir outras pessoas” ou que “tudo é menos importante do que isso”, é preciso desconfiar
- Participar com cautela de grupos muito exigentes quando você não tem outras opções
Recomendações para a comunidade
- Manter vínculos com membros que entraram em grupos disfuncionais e oferecer comunicação normal em vez de apenas condenação
- Dar aos novos membros expectativas realistas e pensar em formas de ampliar o apoio prático
- Ser honesto sobre como é difícil entrar em áreas como segurança em IA e não desvalorizar pessoas que não conseguem contribuir diretamente
- Incentivar discussões sobre “linhas vermelhas éticas” (coisas que claramente não se deve fazer)
1 comentários
Comentário do Hacker News
Texto muito interessante. Há 15 anos, eu achava que esses autoproclamados racionalistas eram gente que escrevia fanfic prolixa, mas agora acho que alguns subgrupos chegaram ao ponto de cometer assassinato e até exorcizar demônios. É uma sensação parecida com a de alguém que leu uma obra do Hubbard nos anos 1950 e, décadas depois, viu Hubbard liderando uma religião gigantesca. O artigo se esforça para encontrar, ainda que com dificuldade, algo positivo nesses grupos e menciona a alegação de que “os racionalistas tinham a visão correta no início da pandemia de COVID e alertaram primeiro sobre a ameaça da IA”. Mas não me parece nada especial concordar com a posição da OMS ou achar que uma IA tipo Skynet é perigosa. Os casos de sucesso dos racionalistas mostrados no artigo me parecem como aquele ditado de que até um relógio parado acerta duas vezes por dia
A OMS só declarou pandemia em 11 de março de 2020. Houve racionalistas que alertaram antes disso, sim (assim como outras pessoas também). Eu li alertas em blogs racionalistas e postei sobre as notícias da COVID em outros fóruns, onde fui visto como alguém que trouxe um aviso importante. Não sei se isso realmente fez grande diferença
https://pmc.ncbi.nlm.nih.gov/articles/PMC7569573/
Esse parágrafo me decepcionou tanto que parei de ler ali. Nenhum dos dois exemplos é verdadeiro, e é triste que esses tenham sido os melhores exemplos que o artigo encontrou para defender o racionalismo. A ameaça da IA, na prática, não existia, e esse tipo de gente acabou ajudando a atrasar o lançamento dos LLMs do Google e a fazer com que modelos de imagem só desenhassem robôs. Mas agora já dá para rodar modelos muito melhores em um notebook pessoal, e não houve desemprego em massa nem colapso. A IA é até amigável. E, sobre máscaras, por mais que eu olhe os dados e os gráficos, não há sinal de impacto significativo. Países que não usavam máscara passaram a usar de um dia para o outro, e mesmo assim os gráficos de casos não mudaram. Porque o vírus pode entrar pelas frestas da máscara, no momento em que ela é tirada, e até pelos olhos. No fim, os racionalistas não acertaram em nada. Realmente decepcionante
Este artigo foi belamente escrito e contém muita pesquisa original de verdade. Mas é uma pena que a maioria dos comentários seja uma reação improvisada do tipo "racionalistas kkk". Há muita coisa que o próprio artigo já trata de forma mais rica e sofisticada, mas esse tipo de comentário quase não aparece
A Asterisk é, na prática, uma “revista racionalista”, e a autora é uma blogueira racionalista conhecida. Então não surpreende que este texto seja quase o único caso de tratamento justo desse fenômeno. Normalmente, do lado de fora, dizem que o racionalismo é uma seita e que Eliezer Yudkowsky é um líder de seita, mas eu acho que essa visão em si não faz sentido
Acho totalmente válido ler artigos assim e sair pensando “é, realmente parece uma seita”. Não importa se eles acreditam em naves espaciais, demônios ou AGI. O insight realmente importante é que, quando o líder isola os membros da sociedade, isso é um sinal de perigo. Não é uma percepção tão nova nem tão especial assim
Um dos problemas que sinto nesses grupos é que eles expressam com enorme confiança, às vezes até de forma agressiva, crenças que na superfície parecem logicamente encadeadas. Só que depois você percebe que as premissas básicas que sustentam isso tudo são fantasias praticamente sem verificação nenhuma. Isso existe em todo lugar, mas nessas comunidades é especialmente grave. Há uma tendência de ficarem presos à própria lógica, e participar disso é meio sufocante. As pessoas realmente inteligentes que conheci muitas vezes não tinham tanta certeza do que sabiam. Quando alguém tira suas próprias conclusões e demonstra confiança demais nelas, isso já me soa suspeito
Não acho que o problema seja só ter premissas erradas. As pessoas ficam convencidas de que cada etapa do raciocínio lógico decorre necessariamente da etapa anterior, mas na verdade vão surgindo brechas a cada passo, e a falsa confiança só aumenta. Não é que os não racionalistas lidem melhor com lógica do que os racionalistas, mas ao menos se beneficiam de um pouco de humildade intelectual
Há um perfil do Curtis Yarvin na NYer que eu recomendaria fortemente. (Curtis Yarvin também usa o “racionalismo” como base para suas crenças.) O mais impressionante é a parte final do texto, em que ele passa muito tempo com seu herói ideológico máximo
https://www.newyorker.com/magazine/2025/06/09/curtis-yarvin-profile
A internet fez esses grupos explodirem em número. Acho que é porque, online, você acaba vendo “ideias” e não “pessoas”. Se você passar muito tempo no mesmo espaço físico com racionalistas fervorosos, como num quarto ou numa ilha, então por mais inteligentes que eles pareçam escrevendo, na prática você rapidamente deixa de levar aquelas teorias a sério
Concordo com a ideia de que “qualquer pessoa que tenha certeza de alguma coisa é suspeita”. É pelo mesmo motivo que vigarista em inglês é chamado de
conman. Ele explora de forma astuta a crença natural de que confiança necessariamente está ligada à resposta certa. E mesmo sem querer enganar ninguém, como alguém poderia realmente ter tanta certeza? Ignorando todas as evidências contrárias. Quem realmente sabe alguma coisa sempre delimita o contexto e faz explicações cautelosas, com condicionais do tipo “talvez”, “se”. Quase nunca faz afirmações generalizadas“Valorize quem busca a verdade, mas desconfie de quem acha que a encontrou” - Voltaire
Também houve muita discussão sobre o valor do dinheiro no futuro. Veja “discount function”: alguns, os chamados ‘rational altruists’, colocam o valor futuro em 1.0, enquanto o pessoal do “drill, baby, drill” coloca perto de 0.
Acho que uma função de desconto precisa necessariamente incluir um termo de ruído que represente a incerteza da previsão. Isso porque quanto mais longe no futuro você tenta prever, maior fica o ruído. Se você não considera isso, acaba fracassando ao tentar resolver o problema errado. Assim como na Roma Antiga se temia falta de espaço para túmulos, e como o esgotamento de energia e a superpopulação também não se concretizaram, tudo isso aconteceu porque pouco ruído foi incorporado ao processo de previsão
https://en.wikipedia.org/wiki/Discount_function
Conheci Eliezer Yudkowsky há muito tempo. Ele me deu um panfleto sobre racionalidade cujo conteúdo parecia piada ou até uma sátira de proselitismo. Nós dois rimos disso. Folheei algumas vezes e joguei na estante, sem jamais imaginar que essa pessoa ganharia tanta influência
Acho que esse pessoal se beneficia do efeito halo. Quando você olha o histórico deles, não há nada ali que justifique terem chegado à posição em que estão. Eliezer Yudkowsky não é, se bem me lembro, alguém que entra na categoria de Thiel baby?
Para mim, Eliezer Yudkowsky só era conhecido por causa da fanfic de Harry Potter <Harry Potter and the Methods of Rationality>. Existe algum outro motivo pelo qual ele seja conhecido do grande público?
Parece que esse pessoal quer fazer filosofia, mas tem orgulho demais para receber formação formal. Eu chamo esse fenômeno de “síndrome do aquário pequeno”. Queria ter um termo melhor para isso
As pessoas não querem formação formal porque a filosofia contemporânea em si parece bastante inútil. Por exemplo, se você olhar o caso do estupro na Duke University em 2006, os professores que embarcaram na histeria eram em grande parte das humanidades (incluindo filosofia), e ninguém mudou de postura até o promotor ser acusado criminalmente. Já as pessoas que mais ou menos resistiram a isso foram economistas, cientistas e juristas. É compreensível não querer entrar para um campo das humanidades que nem consegue distinguir certo de errado de forma adequada
Concordo totalmente! Sou um sobrevivente de 10 anos na filosofia acadêmica. A vibe dessas comunidades é como ver um avião lotado de graduandos ser deixado numa ilha do Survivor com suprimento infinito de pizza pockets e Adderall
Será mesmo que é preciso treinamento formal? Acho que ler diretamente os clássicos — Platão, Sócrates, Dostoiévski, Camus, Kafka — seria uma escolha muito melhor do que o que eles fazem agora
“Muitos racionalistas esperam que, sem um esforço heroico, o desenvolvimento de AGI levará à extinção da humanidade” “Essa crença torna difícil se importar com qualquer outra coisa. Se a humanidade está à beira da extinção, que importância têm enfermeiros, tabeliães ou romancistas?” Se você trocar o apocalipse da AGI pelo arrebatamento, fica muito parecido com cristãos fundamentalistas dos EUA. Eles se recusam a resolver problemas ambientais, econômicos e sociais porque acreditam que o arrebatamento está prestes a acontecer. Quando se entra assim em pensamentos apocalípticos, é difícil sair disso da cabeça, e quem já teve transtorno de ansiedade aprende que precisa superar esse tipo de imaginação catastrófica. Mas, nessas comunidades, ao contrário, a fé na catástrofe acaba sendo reforçada mutuamente, e as pessoas não conseguem sair desse loop repetitivo de desgraça iminente
Eu também cresci, desde pequeno, sob o medo de que o mundo ia acabar e de que eu seria “arrastado para o inferno”, então até hoje gerencio minha ansiedade com muito cuidado. Isso não veio de uma base lógica, mas do bombardeio de medo vindo de toda mídia dentro de casa e da comunidade ao redor
A crença no arrebatamento, para os fiéis, não é destruição no sentido original. Pelo contrário, o apocalipse da IA é ainda mais extremo. E, na prática, não há tantos fundamentalistas que abandonem todas as obrigações do mundo real por causa da crença
Muita gente também acredita que a mudança climática vai trazer problemas terríveis. Essa é uma crença plausível em si, e no fim, de forma ampla, a maioria dos americanos acaba acreditando de modo apocalíptico em alguma coisa. Também existe uma lógica aparentemente plausível na crença do apocalipse da AGI. Eu não acredito nisso, mas, como sistema de crenças, é mais próximo da crença na mudança climática
Se você trocar AGI por mudança climática, também sai um sistema de crenças bastante racional
Eu continuo lembrando daquela cena do primeiro Vingadores em que Loki grita para a multidão, de cima, “vejam, essa não é a sua natureza?”. Em certo sentido, parece haver um alívio estranho na ausência de escolha. Isso, combinado com um sistema racionalista baseado em lógica que não tolera ambiguidade, pode facilmente descambar para direções absurdas
Os seres humanos não são galinhas, mas parece que gostam discretamente de disputas de hierarquia
Esse pessoal tende a desenvolver sua própria lógica para poder fazer o que quer. Acho que é uma versão moderna da antiga ideia de que Deus os está guiando
Falando como alguém que conhece bem os racionalistas,
Pela minha experiência, a área em que eles se perdem é quando ficam obcecados por um esforço que vai além dos meios razoáveis. Na base da maioria dos projetos racionalistas existe a vontade de “repensar o sofrimento humano cotidiano e encontrar uma solução para que todos possam ser felizes”. Pessoas mais cínicas ou realistas diriam que, em qualquer problema, inevitavelmente alguém vai sair insatisfeito, mas os racionalistas tentam forçar uma ruptura com esse limite. Por isso, não só eles mesmos entram em burnout, como acabam jogando os outros no liquidificador junto. Num caso extremo, dizem que o grupo Zizians concluiu que “a maioria dos humanos não tem alma, então, se você ignorar os sem alma, é possível fazer todos felizes”. Em versões menos extremas, isso vira idealismo (sonhos irrealizáveis) ou uma lógica desligada da realidade. Algo como: “se existe 1% de chance de que este experimento mental gere 900 quatrilhões de unidades de sofrimento, então devo dedicar minha vida inteira apenas a impedir isso, e se você não fizer o mesmo, então você é moralmente responsável por 900 quatrilhões de unidades de sofrimento e, portanto, é mau”.
A maioria dos racionalistas, embora seja esquisita, pelo menos mantém distância dos excêntricos extremistas e fica no nível de “vegetarianismo com ingredientes animais que não sentem dor” e de doar US$ 200 mil por ano ao ganhar US$ 300 mil. Os realmente extremos são difíceis até de conversar, e todo mundo os evita
Esse grupo cresceu por vários fios ao mesmo tempo: em sites, comunidades etc. Na filosofia, vi a teoria da Simulação de Nick Bostrom ser muito mais valorizada do que seu real mérito justificaria (todo mundo a aceitava sem crítica, em nível popular). Olhando para trás, esse tema também foi se desenvolvendo no LessWrong e em vários outros sites. Ao ver a discussão sobre simulação dominar a filosofia, eu me perguntava de onde vinha essa influência. Agora percebo que todos esses fenômenos estavam conectados e se moviam juntos.
Na superfície parecia inteligente, e alguns sites eram sinceros, mas no fim a corrente se deteriorou
Para não haver mal-entendido, este texto não está chamando o racionalismo em si de seita, mas sim tratando de seitas que tomaram emprestados alguns conceitos do racionalismo ou que eram socialmente conectadas a ele (como os Zizians)
Muitos dos comentários estão falando sobre seitas em geral, mas na verdade o ponto aqui é entender por que esta seita em particular foi especialmente bem-sucedida. Uma grande parte do segredo desse sucesso está no ponto de encontro entre dinheiro e status. Conexões com figuras famosas do Vale do Silício e com capital de anjo/VC fizeram isso se espalhar rapidamente.
Por um tempo, foi uma comunidade à qual vinham associados status (e talvez dinheiro), e foi isso que a tornou anormalmente bem-sucedida