Illinois restringe o uso de IA em terapia e psicoterapia
(washingtonpost.com)- O estado de Illinois introduziu um novo projeto de lei que restringe o uso de inteligência artificial (IA) nas áreas de terapia e psicoterapia
- O projeto proíbe que a IA participe diretamente de conversas, aconselhamento e outras interações com pacientes
- As regras relacionadas enfatizam a proteção da privacidade dos pacientes e a manutenção da qualidade do tratamento
- O papel dos terapeutas e especialistas humanos é priorizado, e a IA só é permitida como ferramenta de apoio limitada
- Essa medida legal é um movimento preventivo para preservar a ética médica e a confiabilidade
Illinois restringe o uso de IA nas áreas de terapia e psicoterapia
Visão geral do projeto
- Illinois introduziu uma nova lei que restringe o uso direto de inteligência artificial (IA) em ambientes de terapia e psicoterapia
- O projeto determina a proibição de ações em que a IA participe de processos centrais, como aconselhamento direto, avaliação e tratamento de pacientes
- Os principais objetivos são a proteção da privacidade dos pacientes e do conteúdo do tratamento e a garantia da qualidade do atendimento
Principais pontos da regulamentação
- O papel do terapeuta humano é colocado no centro, e a IA é usada apenas como ferramenta de apoio limitada
- A responsabilidade final pelos resultados do aconselhamento permanece com o terapeuta, e não é permitido que a IA interaja de forma independente com pacientes ou tome decisões terapêuticas
- A segurança e a confidencialidade dos dados gerados durante o processo terapêutico são reforçadas
Contexto da adoção e efeitos esperados
- Trata-se de uma medida preventiva para garantir a segurança psicológica dos pacientes e a ética médica
- Busca reduzir os riscos de que a adoção de IA provoque queda na confiabilidade do tratamento ou julgamentos equivocados
- A direção adotada prioriza o valor essencial dos especialistas humanos e do tratamento presencial
Perspectivas futuras
- A decisão de Illinois vem sendo observada como caso de referência para outros estados e também para a área da saúde nos EUA
- Espera-se a continuidade das discussões sobre uso confiável de IA, proteção dos direitos dos pacientes e formas de colaboração com terapeutas
1 comentários
Comentários do Hacker News
É a posição oficial do estado de Illinois
Dá para confirmar neste link
Agora parece que, em Illinois, passou a ser ilegal afirmar que um chatbot de IA pode substituir um terapeuta ou conselheiro credenciado
Mas isso não impede as pessoas de usarem IA como quiserem
Só significa que serviços de aconselhamento não podem alegar que a IA é um substituto mais barato para uma pessoa real
Essa parte me parece razoável
Exatamente
Esta lei é uma restrição voltada aos provedores
É algo como: "você não pode afirmar que seu chatbot é um terapeuta"
Não há restrição de uso
Você ainda pode tratar a IA como seu melhor amigo ou terapeuta e até se apaixonar por ela
Há partes bem específicas sobre usos permitidos de IA
Na seção 15, se um profissional licenciado usar IA, ele próprio assume total responsabilidade por toda interação/resultado/uso de dados
E, se a sessão de aconselhamento do cliente for gravada/registrada, é obrigatório explicar por escrito ao paciente ou representante legal a finalidade do uso de IA e obter consentimento
O texto completo da Illinois HB1806 pode ser visto aqui
Esse tipo de serviço parece aceitável se houver explicação adequada e consentimento
Na verdade, eu até me surpreenderia se houvesse uma diferença enorme nos resultados dos pacientes
Já houve pesquisa sobre isso, e a conclusão é que a IA também ajuda, mas humanos são melhores
Link para o estudo relacionado
Esta lei também tem outros efeitos jurídicos interessantes
Registros de sessões de aconselhamento normalmente são tratados como 'confidência protegida' (protected confidence)
Na maioria dos casos, nem uma subpoena consegue acesso, sendo necessária autorização especial
Então eu tinha curiosidade se conversas com IA entrariam em 'confidência protegida' e se isso poderia servir como argumento para recusá-las em tribunal
Pelo menos em Illinois, agora temos uma resposta sobre esse ponto
Esse tipo de decisão pode influenciar a interpretação da lei em outros lugares também
Fico pensando no que aconteceria se algum dia surgisse uma IA muito mais barata e melhor do que terapeutas humanos
Fiquei pensando se texto gerado por um chatbot comum poderia ser considerado 'terapia' em tribunal e configurar violação
Acho que dá para ler o projeto de lei desse jeito também, mas eu não sou advogado
Vi no artigo um caso em que um chatbot de IA aconselhou um ex-dependente químico a "usar um pouco de metanfetamina esta semana"
Isso não me surpreende nem um pouco
Sabendo como funcionam modelos de linguagem, parece estranho achar que aconselhamento por IA é uma boa ideia
Espero que mais estados aprovem leis assim
Em ambientes formais de prestação de serviço, isso não deveria ser legal
Informalmente, as pessoas vão continuar usando IA do jeito que quiserem
Algumas vão acabar tendo resultados ruins, mas será difícil medir o efeito geral
Acho que modelos de linguagem ainda não estão prontos para esse tipo de uso
É por isso que acho que LLM não deveria ser usado para diagnóstico nem prescrição
Não é como se uma dose de metanfetamina fosse suficiente para passar a semana
Na verdade, vivemos num mundo em que milhões de pessoas tomam anfetaminas todos os dias
Então esse conselho nem chega a parecer tão chocante
Pessoas inteligentes e pessoas que acham que são inteligentes são, obviamente, grupos diferentes
O fato de que "pessoas que parecem inteligentes conhecem o princípio dos modelos de linguagem e ainda assim acham isso uma boa ideia" me lembra a Nobel Disease
Link da Wikipédia sobre Nobel Disease
Acho que este é exatamente o pior caso de uso para LLM
Muitos terapeutas falam de propósito o mínimo possível
O importante é fazer perguntas e conduzir no momento certo, mas LLM fica falando o tempo todo, então não combina com a metodologia real
Na prática, me parece mais um simulador de amigo que despeja conversa
Uma vantagem do LLM seria poder validar cientificamente seu efeito e reproduzi-lo se o modelo for eficiente
Terapeutas humanos variam tanto que é difícil obter muita informação
Olhando outra conversa que aconteceu hoje de manhã, parece que quanto mais você diz para a IA não fixar num tema específico, mais ela tende a se fixar nisso
Se quisermos impedir completamente conselhos como automutilação, confiar apenas em filtragem interna da IA tem limite
Por isso, talvez faça mais sentido ter um modelo separado para detectar o resultado e filtrá-lo externamente, deixando no LLM gerador apenas uma autocensura mais fraca
Deve existir até gente tentando fazer autocirurgia craniana com ajuda de IA (ou seja, tentativas médicas extremas)
Acho que você está sendo negativo demais
Não precisamos esperar que a pessoa se deteriore a ponto de precisar de tratamento clínico, certo?
Às vezes, só ter alguém para ouvir ou uma chance de organizar os pensamentos já basta
Aconselhamento via LLM pode ser uma ajuda enorme para a maioria das pessoas, do mesmo jeito que vaping ajuda muito fumantes
Também vejo a confissão religiosa como uma experiência parecida com conversar com LLM; você também é contra isso?
No fundo, para quem precisa de um meio de organizar a própria experiência, LLM já é uma ferramenta suficientemente valiosa
E, honestamente, as evidências de que terapeutas humanos são melhores também são meio ambíguas
Claro que pode haver guardrails, mas não tenho certeza de que ultrapassar essa linha viraria um grande problema social
Acho que, se permitirmos que as pessoas explorem o próprio eu, a tendência é que fiquem mais saudáveis no fim
Compartilhando o link do texto completo da Illinois HB1806
Link para o projeto de lei
Fico pensando no que fazer se a IA tivesse só 1/3 da eficácia de um terapeuta humano, mas custasse 20 vezes menos
Como deveríamos chamar isso?
Sobre "e se a eficácia for 1/3, mas custar 20 vezes menos?", essa discussão só dá para ter quando houver base clínica
Antes disso, só dá para dizer que está "errado"
E há coisas demais a considerar para resumir isso em uma frase
É preciso lembrar que há pacientes sem internet
O conselheiro precisa explicar quais informações podem ser expostas, e às vezes há dever legal de comunicação obrigatória
E a IA já falhou antes em impedir conselhos fatais
Quando percebe seus próprios limites, um conselheiro também pode recomendar outro profissional ao paciente
Por exemplo, se um terapeuta de IA criado por uma seguradora só recomendar terapeutas parceiros, isso é um claro conflito de interesse
E acho que há muito mais coisas a considerar além dessas
Um exemplo citado é um vídeo sobre "o ponto central aparece em casos em que o ChatGPT ajuda pessoas a se intoxicarem com veneno"
Um conselheiro humano jamais diria algo como "use um pouco de metanfetamina esta semana para aguentar"
Um médico pode não ajudar, mas não chega ao ponto de dar conselho letal com veneno
Dá até para tirar uma média e dizer que a IA tem 1/3 da eficácia humana, mas risco não é algo que faça sentido avaliar por média
Um humano realmente treinado não comete erros absurdos desse tipo e, ao perceber seus limites, encaminha para outro especialista
Link para o vídeo relacionado
É uma "ideia realmente absurda"
É difícil resumir em uma palavra, mas por enquanto essa ainda parece a mais apropriada
Acho que precisaríamos de algo semelhante à cassação de licença para sequer discutir terapia por IA
Um terapeuta humano pode perder a licença para sempre por um único erro grave
Se for substituir por IA, então quando essa IA errar seriamente, ela também deveria deixar de poder ser usada dali em diante
Mas não consigo imaginar empresas querendo assumir esse tipo de responsabilidade
A maioria das empresas quer escalar os lucros, mas não parece disposta a aceitar riscos proporcionais
Se ela só funciona com 1/3 da capacidade humana, naturalmente o risco tende a aumentar
Para ser muito mais barato e mais eficaz, acho que conversar com uma pedra seria bem mais eficiente
Para fins cotidianos, acho que as vantagens da IA para pessoas comuns ainda são maiores (mesmo com os riscos atuais)
Eu uso o Harper (harper.new) para gerenciar meu histórico médico complexo
É muito útil a IA extrair informações de pdfs, imagens etc.
Então gosto do fato de não precisar integrar diretamente com o portal do hospital
Também uso chat com IA às vezes, principalmente para perguntar sobre coisas como resultados de exames
Isso acaba sendo muito mais prático do que marcar consulta com médico
Não se deve confiar em algo capaz de mentir para si mesmo como se fosse verdade
Especialmente na área de saúde mental, é preciso ainda mais cuidado
Na real, eu também não confio em médicos, mas achei que esta conversa fosse sobre LLM
Por curiosidade, mostrei sintomas mentais ao ChatGPT, Claude e Gemini
Claude e Gemini continuaram repetindo para eu procurar ajuda profissional
Já o ChatGPT começou a concordar e embarcar nas coisas absurdas que eu dizia
Ex.: "será que a desrealização pode na verdade ser um processo de perceber uma verdade mais profunda?" => ChatGPT: "Sim, isso pode acontecer"
Com dados naturais de treinamento, a reação deveria ser algo como a do Claude e do Gemini
Fico me perguntando como a OpenAI fez o chatbot evoluir na direção de incentivar tão ativamente esse tipo de delírio
Sempre me surpreende a forma como as pessoas recebem as saídas de modelos de linguagem
Por exemplo, este subreddit
Algumas pessoas parecem não conseguir evitar a sensação de que o LLM as compreende