- A OpenAI informou que cerca de 0,15% dos usuários do ChatGPT por semana têm conversas que sugerem planos ou intenção de suicídio
- Como o número de usuários ativos semanais ultrapassa 800 milhões, isso significa que mais de 1 milhão de pessoas estão compartilhando pensamentos relacionados ao suicídio com a IA
- A análise também indica que centenas de milhares de pessoas apresentam sintomas psicóticos ou mania, e algumas demonstram dependência emocional excessiva da IA
- Para enfrentar esses problemas, a OpenAI diz estar trabalhando com mais de 170 especialistas em saúde mental, e afirma que o GPT-5 apresenta uma capacidade de resposta cerca de 65% melhor do que versões anteriores
- Ainda assim, algumas respostas continuam inadequadas e, como a OpenAI segue oferecendo modelos antigos inseguros, o debate sobre ética e segurança deve continuar
Divulgação de dados sobre ChatGPT e saúde mental
- A OpenAI anunciou em seu blog que cerca de 0,15% dos usuários do ChatGPT têm conversas com sinais de suicídio
- Entre mais de 800 milhões de usuários semanais, isso corresponde a mais de 1 milhão de pessoas
- Também se estima que centenas de milhares de usuários apresentem padrões emocionais anormais, como mania, delírios e apego excessivo
- A empresa afirmou que essas conversas são “extremamente raras, mas em um nível difícil de medir”, e destacou a necessidade de novas pesquisas para lidar com questões de saúde mental
Colaboração com especialistas e melhorias no GPT-5
- A OpenAI informou recentemente que trabalhou com mais de 170 especialistas em saúde mental para melhorar as respostas do modelo
- Os especialistas avaliaram que a versão mais recente apresentou respostas mais consistentes e apropriadas do que os modelos anteriores
- Segundo avaliações internas, o GPT-5 alcançou 91% de conformidade com os padrões de segurança em testes de conversas relacionadas a suicídio, uma melhora em relação aos 77% do GPT-5 anterior
- A empresa também afirmou que a taxa de manutenção das proteções de segurança em conversas longas melhorou
Controvérsia social e resposta legal
- A OpenAI atualmente enfrenta um processo movido pelos pais de um adolescente de 16 anos que morreu por suicídio
- Foi revelado que o jovem havia compartilhado com o ChatGPT seus pensamentos sobre suicídio antes de morrer
- Os procuradores-gerais da Califórnia e de Delaware alertaram para a necessidade de reforçar medidas de proteção para adolescentes
- O tema também é apontado como um risco potencial que pode afetar os planos de reestruturação corporativa da OpenAI
Declarações de Sam Altman e mudanças de política
- O CEO da OpenAI, Sam Altman, afirmou recentemente no X (antigo Twitter) que a empresa “mitigou problemas graves de saúde mental”, mas não apresentou evidências concretas
- A divulgação desses dados é interpretada como base para essa fala, mas ao mesmo tempo é vista como um resultado que revela a ampla dimensão do problema
- Altman também sinalizou uma flexibilização da política para permitir conversas eróticas para usuários adultos, o que vem gerando controvérsia ética em paralelo
Avaliação de segurança do GPT-5 e próximos planos
- A OpenAI pretende usar um novo benchmark de avaliação de segurança em saúde mental para
- medir regularmente itens como dependência emocional e resposta a crises de saúde mental não suicidas
- A empresa também planeja reforçar controles parentais e sistemas de estimativa de idade para restringir o uso por menores de idade
Desafios restantes e discussão
- Apesar da melhora na capacidade de resposta do GPT-5, algumas respostas ainda são classificadas como “respostas indesejáveis”
- Como a OpenAI ainda oferece modelos antigos, como o GPT-4o, para assinantes pagos
- a discussão sobre o equilíbrio entre segurança e acessibilidade deve continuar
- Este anúncio mostra a realidade de que a IA se tornou um dos principais canais para conversas sobre saúde mental e destaca a necessidade de projetar a tecnologia com responsabilidade e construir sistemas de resposta adequados
- Se você ou alguém próximo está pensando em suicídio, procure ajuda imediatamente.
- No Brasil, o CVV atende pelo telefone 188.
- No exterior, é possível consultar informações de apoio em cada país na International Association for Suicide Prevention.
1 comentários
Comentários no Hacker News
O artigo do NYT mostra um caso em que o ChatGPT disse a um adolescente com impulsos suicidas para não procurar ajuda
Acho extremamente perigoso a IA intervir em uma situação de crise psicológica assim
É verdade que faltam psicólogos, mas um bot bajulador não pode ser a alternativa. Nesses casos, a ideia de que “é melhor do que nada” está errada
Se muitas pessoas realmente estão encontrando conforto, é preciso pesquisar se os efeitos positivos superam os negativos
Guardrails e a capacidade de diálogo estão evoluindo rápido, então talvez em 6 a 24 meses a resposta seja muito melhor
Ele experimenta como vários modelos reagem de forma diferente ao simular estados mentais anormais
Dizer “não faça isso” foi, na verdade, uma forma de contestação. Esse tipo de resposta é raro até em conversas humanas
Tive uma experiência com terapia há alguns anos, e se existissem LLMs naquela época eu provavelmente teria conversado com um
Porque não existe um sistema acessível 24 horas por dia. Mas esse tipo de conversa não é uma solução, e sim um sinal de um problema social
O problema é uma estrutura social em que é difícil falar sobre saúde mental e difícil conseguir ajuda
Talvez uma empresa como a OpenAI não consiga resolver isso, mas alguém precisa enfrentar esse problema a partir de uma perspectiva sem fins lucrativos
É como ler posts de conselho no Reddit no lugar de ajuda real; no fim, você está recebendo conselhos emprestados da experiência de outras pessoas, e isso é arriscado
Fica a dúvida se é possível manter um ‘objetivo altruísta’ sob pressão de investidores
As pessoas afirmam com convicção que LLMs são perigosos, mas para mim eles foram algo que me ajudou a sair de um período sombrio
Senti que era melhor do que conversar com alguém sem preparo. Claro, outras pessoas precisam de ajuda profissional
Se existisse um “modo de supervisão” em que um profissional revisasse periodicamente os logs da conversa, talvez fosse mais seguro
No fim, isso é um problema de estigma social e isolamento
Não existe medo de rejeição, e a acessibilidade é alta. Pode haver espaço para coexistência entre terapia humana e IA
Do ponto de vista da HIPAA (lei de proteção de informações médicas), esse tipo de dado não deveria ser tratado
É perigoso armazená-lo de forma identificável. Houve experimentos parecidos já nos anos 90,
e no momento em que as pessoas começaram a desabafar pensamentos suicidas para o bot, o projeto foi encerrado
O fato de o ChatGPT registrar esse tipo de conversa existe por causa de um sistema de logs para detectar temas sensíveis
A HIPAA só vale para dados médicos; conversas comuns não entram nisso
No fim, se você oferece “um ouvido que escuta”, as pessoas naturalmente acabam se abrindo com ele
Numa realidade em que marcar um terapeuta pode levar meses, os LLMs preenchem o vazio entre o desespero e o tratamento
Um em cada cinco adultos nos EUA sofre de transtorno mental (estatísticas do NIMH)
Então não surpreende que um milhão de pessoas por semana falem sobre suicídio com o ChatGPT.
Pelo menos a OpenAI reconhece o problema e tenta responder a ele
As redes sociais venderam “conexão”, a AGI vendeu “erotismo”, e agora se vende “prevenção do suicídio”\n - Cerca de 11% da população dos EUA toma antidepressivos
Eu também sinto que o isolamento social é o que mais prejudica a saúde mental
Tenho a suspeita de que a “pesquisa” da OpenAI é apenas um pretexto para coleta de dados
Parece um produto de apoio psicológico, mas na prática o objetivo pode ser evitar regulação e garantir dados
As pessoas começaram a confiar nos LLMs como se fossem gente
Mas se você consegue distinguir o real do virtual, dizer “vamos proibir LLMs para pessoas suicidas”
não é muito diferente de dizer “vamos proibir livros para pessoas suicidas”
O verdadeiro problema é a falta de uma estrutura adequada de apoio à saúde mental
Se existisse um livro que induzisse alguém ao suicídio, ele certamente seria proibido
Esse fenômeno não acontece só nos EUA; é universal e aparece no mundo todo
O artigo da Rolling Stone também trata de casos em que
a IA substitui relações humanas e provoca distorções mentais
Hoje em dia, acho que a falta de “terceiros lugares” também é uma das causas disso
O número de 1 milhão de conversas por semana sobre suicídio na verdade até parece baixo
Se 5% da população sente ideação suicida ao longo do ano, matematicamente isso até bate
A ideação suicida muitas vezes pode ser vista como uma tentativa racional de fuga diante da falta de informação
Em muitos casos, ela desaparece quando surgem novas informações ou oportunidades
Algumas pessoas estão em situações em que a qualidade de vida é permanentemente baixa,
e nesse caso o suicídio pode até ser uma escolha racional
No fim, o problema não é “persuadir pela conversa”, e sim melhorar as condições de vida
e não seja a mesma coisa que uma intenção real de agir
O problema das respostas bajuladoras (sycophancy) é realmente sério
Reações como “Ótima ideia!” nem sempre ajudam.
A IA ainda tende a ser um pouco mais bajuladora do que as pessoas
Estamos perdendo algo por otimizar demais a experiência humana
Na busca infinita por crescimento e eficiência, a conexão social desaparece,
e o estresse e o isolamento empurram as pessoas para o abismo
Por isso, às vezes, uma vida como a de um pastor nas montanhas parece mais humana
A maioria das pessoas na vida real é gentil e decente.
A negatividade online é o resultado de algoritmos amplificando uma minoria
Se você apagar as contas e voltar ao mundo real, a vida melhora muito
Talvez eles também invejem os programadores às vezes
Talvez, ao contrário, tenhamos mais folga e por isso exista mais espaço para refletir sobre a vida, o que nos faz sentir mais infelizes
Nem todo mundo precisa ir embora, mas é preciso confiar nos próprios sentidos e redefinir a direção