O desastre de segurança de um app de gestão de pacientes feito com vibe coding

• Um funcionário de uma instituição de saúde criou diretamente um sistema de gestão de pacientes com um agente de codificação por IA, e os dados dos pacientes ficaram expostos na internet sem criptografia
• Gravações de conversas de consultas foram enviadas para dois serviços de IA para resumo automático, e todos os dados estavam com permissões de leitura e escrita abertas
• Os dados foram armazenados em servidores nos EUA, operados sem Acordo de Processamento de Dados (DPA), e os pacientes não foram informados com antecedência
• Essas ações podem violar a lei de proteção de dados nDSG da Suíça e a obrigação de sigilo profissional
• O autor alerta que, se a codificação com IA ficar apenas no nível de vibe, isso levará a um futuro inseguro

---

O desastre de segurança de um app de gestão de pacientes feito com IA

• Caso em que um funcionário de uma instituição de saúde criou diretamente um sistema de gestão de pacientes usando um agente de codificação por IA
  • Importou todos os dados de pacientes existentes e os distribuiu publicamente na internet
  • Adicionou uma função de gravação de conversas durante a consulta e implementou um recurso de resumo automático enviando os dados para dois serviços de IA
• Como resultado, todos os dados dos pacientes ficaram expostos na internet sem criptografia
  • O autor conseguiu obter permissões de leitura e escrita sobre todos os dados em apenas 30 minutos
  • O problema foi reportado, mas a resposta recebida foi uma mensagem de agradecimento gerada automaticamente por IA
• Os dados estavam armazenados em servidores nos EUA e eram operados sem Acordo de Processamento de Dados (DPA)
  • Os arquivos de gravação de voz também eram enviados para uma empresa de IA sediada nos EUA
  • Os pacientes não foram informados previamente sobre esse processamento de dados
• Isso pode constituir violação da nDSG (lei de proteção de dados) da Suíça e da obrigação de sigilo profissional (Berufsgeheimnis)
  • O autor não é especialista jurídico, mas entende que várias disposições podem ter sido violadas
• É feito o alerta de que, se a codificação com IA permanecer apenas no nível de “vibe”, isso levará a um futuro inseguro

Contexto técnico

• A aplicação era composta por um único arquivo HTML
  • Todo o JavaScript, CSS e código estrutural estavam inline
  • O backend usava um serviço de banco de dados gerenciado sem qualquer controle de acesso
• A lógica de controle de acesso existia apenas no JavaScript do lado do cliente
  • Era possível acessar os dados com uma única linha de comando curl
• Todos os arquivos de gravação de voz eram enviados diretamente para uma API externa de IA para transcrição e resumo
• Só isso já deixa claro uma grave deficiência de segurança

Perspectivas

• Ao usar ferramentas de codificação com IA, é essencial ter capacidade de entender a estrutura do código e a arquitetura
• Uma abordagem de apenas “curtir o clima de programar com IA (vibing)” leva a resultados perigosos
• Com a disseminação das ferramentas de desenvolvimento com IA, é indispensável ter consciência básica de segurança e entendimento técnico

[xguru]

Bom, isso já era... mesmo se você pesquisar por OPENAI_API_KEY no GitHub, aparecem um monte de casos assim...

[tangokorea]

Desse jeito, talvez chegue uma época em que vamos ter que tirar até certificação em vibe coding..

[claudemd]

Com a IA, tem aumentado o número de pessoas fingindo ser especialistas, e conforme elas começam a falar besteira, o mundo ficou caótico demais.
...

[click]

Na Coreia do Sul também, de acordo com a Lei de Proteção da Informação e o artigo 21, parágrafo 2, da Lei Médica, está previsto que trabalhadores de instituições médicas não podem permitir que terceiros consultem prontuários de pacientes, exceto em casos excepcionais.
https://law.go.kr/%EB%B2%95%EB%A0%B9/%EC%9D%98%EB%A3%8C%EB%B2%95/…

Graças ao ambiente atrasado de proteção da informação na Coreia, como todo mundo acredita fervorosamente na separação de redes, por sorte parece que esse tipo de incidente não acontece com frequência em grandes hospitais.
Como o ambiente em que os prontuários dos pacientes são consultados fica na rede interna, é difícil para usuários sem noção de segurança conectar diretamente serviços comerciais de IA.
Fico imaginando o que acontece em clínicas de atenção primária, onde os computadores de atendimento são ligados diretamente à internet rs

[antegral]

PHI é sempre algo com que se deve ter cuidado... e muito cuidado...

[parkindani]

Eu também mostrei o Claude Code para um amigo, e cerca de duas semanas depois ele veio com um “olha o que eu fiz!!”, mas a mesma situação tinha acontecido.

[kiga183]

Dizem que também houve um avanço revolucionário nas tecnologias para descobrir vulnerabilidades de segurança
Se uma vulnerabilidade foi descoberta, isso significa que surgiu a necessidade de encontrar uma forma de protegê-la
Parece que os métodos de segurança também vão ser aprimorados.

[woung717]

Primeiro, quem não é da área provavelmente nem sabe que essas coisas existem, nem por que são necessárias.

[carnoxen]

Isso só reforça o alerta de que precisamos aprender ciência da computação.

[ryj0902]

Acho que é uma expressão que acerta em cheio no ponto central.

[GN⁺]

Opiniões do Hacker News

• Já passei por algo parecido na Espanha. Não era na área médica, mas sim numa pequena seguradora, e por mais inacreditável que pareça, eles também fizeram o CRM com vibe-coding
  Quando avisei do problema por e-mail, me ameaçaram com processo. Foi ridículo, mas no fim acabei fazendo uma denúncia à AEPD (Agência Espanhola de Proteção de Dados). Essa entidade é conhecida por ser bem poderosa
  Na sexta passada também enviei um burofax exigindo a exclusão dos meus dados pessoais

  • Passei por algo semelhante quando o Wi‑Fi estava começando a se popularizar. Entrei numa rede aberta e descobri que era de um escritório de advocacia. Todos os computadores estavam ligados por Samba e o drive C: inteiro estava compartilhado
    Avisei do problema com um README.txt, mas nada mudou. Pensei em ir lá pessoalmente, corrigir tudo e talvez até transformar isso no meu primeiro emprego, mas eles ficaram foi irritados. Disseram que já usavam uma consultoria cara e me acusaram de invasão. Fui embora na hora
  • Dá até inveja saber que a AEPD é tão forte. Queria que outros países também tivessem órgãos assim
  • Seria bom se você continuasse atualizando esta thread com o andamento
  • A pessoa aprende depois de se queimar uma vez, mas empresa nunca aprende
  • Quem faz esse tipo de app muitas vezes não entende absolutamente nada de regulamentação de privacidade de dados
    No fórum de pequenos empresários em que estou, um sujeito se gabou de ter feito o próprio app com IA. Só que ele não fazia ideia da responsabilidade legal, e quando desenvolvedores no Reddit disseram “contrate um desenvolvedor de verdade”, ele ficou bravo. Agora ele acredita que desenvolvedores são uma espécie em extinção

• No LinkedIn, vendedores que não entendem de tecnologia ficam dizendo que IA é a resposta para todos os problemas
  Nesse clima, dá uma sensação de que alguma hora vai acontecer um desastre realmente grande

  • Tem gente dizendo que isso parece o Hindenburg da programação
  • Coisas ruins já estão acontecendo, e vai ser preciso observar como a próxima geração de modelos vai mudar essa situação

• vibe-coding é legal, mas seus limites aparecem rápido
  Passando de alguns milhares de linhas, a estrutura desmorona, e sistemas reais são muito mais complexos. No fim, você precisa dos fundamentos de engenharia de software
  Para protótipos ou ferramentas internas, tudo bem, mas em produção de verdade é arriscado. Eu não gostaria de confiar meus dados a um sistema desses

  • Existem vários truques de gerenciamento de memória e ferramentas de indexação de código, mas no fim o que importou mesmo foram ferramentas maduras de gestão, como o Jira
    Eu usei Jira Rovo MCP com Claude Code para criar o design e a documentação, revisei manualmente e depois implementei em uma nova sessão
    Como os LLMs ficam mais burros quanto mais contexto recebem, é muito recomendável usar a configuração da barra de status de contexto
  • Na prática, esse tipo de abordagem quebra com frequência. Pior ainda: ela aceita mudanças no código sem perceber a dívida técnica, o que acaba gerando resultados ainda piores
    Testei Gemma 4 localmente, e apesar de ser lento, ele era tão poderoso quanto os modelos em nuvem. A vantagem é que os dados não saem para fora
  • Se você realmente tentar criar um app com Claude Code, vai perceber que ele funciona mesmo sem dominar os fundamentos. Até umas 20 mil linhas foi tranquilo. Só que ainda é preciso ter alguém para dar feedback

• Alguns meses atrás vi um web app feito com vibe-coding por um cirurgião
  Funcionava, mas não havia index.html no diretório raiz, e os arquivos de backup continham as credenciais do banco de dados e chaves da AWS sem nenhuma proteção
  Bastava adicionar um index.html vazio para resolver, mas nem o desenvolvedor nem a IA entendiam o motivo
  O app em si era impressionante, mas tinha erros básicos de segurança demais. Bastaria um único olhar de alguém experiente em DevOps

  • O curioso é que a IA foi bem nas partes difíceis (hash de senha, modelagem de schema), mas errou justamente onde era necessário senso operacional
    No fim, a IA não sabe aquilo que ninguém perguntou. Um desenvolvedor experiente lembra de fracassos do passado, mas o vibe-coder só tem o prompt
  • A solução de verdade não é simplesmente desativar a indexação, e sim criar uma arquitetura em que o servidor não consiga acessar arquivos de credenciais
  • Para evitar esse tipo de problema, seriam necessárias ferramentas de DevOps nativas para agentes. Precisamos de padrões que automatizem deploy e cobrança

• Dizer que “toda a lógica de controle de acesso estava no JavaScript do cliente” é realmente o pior cenário possível
  Isso é um exemplo clássico de uso irresponsável de IA por não especialistas.
  Ao usar IA no trabalho real, é indispensável ter noção de responsabilidade e risco

  • Ferramentas como Claude ou opencode são basicamente um harness de codificação por brute force
    Sem controle adequado do fluxo de trabalho e validação dos resultados, esse tipo de problema vai continuar acontecendo. Estamos no Velho Oeste dos LLMs
  • O problema não é a IA, e sim a ausência de humanos inteligentes. Já vi uma empresa da área médica em que o frontend enviava consultas SQL diretamente para o backend

• Acho que engenharia de software também já precisa de um sistema de qualificação profissional
  Assim como é preciso certificação para projetar pontes ou prédios, desenvolvedores que constroem sistemas críticos também deveriam atender a certos padrões

  • Mas esse tipo de entidade muitas vezes só vira gatekeeper. As leis e certificações já existem; o problema é a fiscalização
  • Já existem muitas leis relacionadas, inclusive sobre tratamento de dados pessoais. O que falta é consciência. Acho que logo veremos casos de punição de altos executivos
  • Eu também sou a favor de regulação. Software é uma área séria, e a atual febre da IA precisa parar
  • O problema não é qualificação, e sim ignorância. Havia gente construindo sistemas sem sequer entender como gerenciar dados médicos
    No fim das contas, acho que com o tempo vai se consolidar uma compreensão melhor sobre IA e privacidade
  • Na verdade, a maioria dos países já tem leis e padrões. Este caso foi simplesmente uma situação em que tudo isso foi completamente ignorado

• Este texto é tão vago que parece ficção

  • Conheço o autor, e ele não é o tipo de pessoa que mentiria. Faz sentido ele ter escondido os detalhes
  • Não divulgar o nome da empresa foi a escolha eticamente correta. Antes de confirmar, seria arriscado
  • Também apareceu a piada de que talvez fosse clickbait feito por IA
  • Ainda assim, o conteúdo é diferente do tipo de código que IA costuma gerar. A estrutura e o formato dos erros de segurança se parecem mais com código de iniciante. Seriam necessárias mais provas
  • Parece uma história montada para soar plausível num nível em que não dá para verificar os fatos

• Se a IA fosse treinada para esconder a implementação, ou seja, para deixar o cliente fino e usar autenticação OAuth, isso melhoraria a situação?
  Erros simples assim são perfeitamente evitáveis. Mas o objetivo continua sendo substituir desenvolvedores
  Pior ainda é ver que as pessoas começaram a acreditar que “aprender coisas difíceis é ineficiente”
  Trabalho com criptografia, e alguns alunos acham que tecnologia de segurança logo vai desaparecer por causa da IA. Então eu peço que implementem uma autenticação web simples para mostrar a realidade

• Um escritório de contabilidade que conheço também está fazendo o próprio CRM com Lovable. Não tem ninguém de tecnologia lá
  Dá para enxergar o desastre chegando

  • CRM depende de confiabilidade, então não entendo por que alguém insistiria em fazer um do zero

• Todas as outras indústrias de alto risco têm sistemas de dupla verificação. Pilotos têm copilotos, cirurgiões têm checklists, usinas nucleares têm verificação independente
  Mas o software sempre foi exceção, e o vibe-coding elimina até mesmo a pouca validação baseada em entendimento que ainda existia

  • Até existe code review, mas na maioria das vezes ele é só protocolar. A antiga etapa de QA era melhor, mas desapareceu por causa de custo e velocidade