Por que as diretrizes de câncer ficaram presas em PDFs
(seangeiger.substack.com)- As diretrizes de tratamento do câncer condensam evidências clínicas em recomendações estruturadas para reduzir variações no tratamento, mas são difíceis de aplicar de forma consistente na prática devido à pressão de tempo e às diferenças no acesso às pesquisas mais recentes
- A NCCN é uma aliança de 32 grandes centros oncológicos dos EUA, e painéis multidisciplinares de especialistas por tipo de câncer atualizam anualmente as NCCN Clinical Practice Guidelines in Oncology
- Hoje, as diretrizes são fluxogramas em PDF que exigem seguir várias páginas e links, o que dificulta encontrar a versão e o caminho corretos em subtipos raros ou em condições complexas do paciente
- A essência das diretrizes é uma árvore de decisão, portanto, em um formato legível por máquina, sistemas de prontuário poderiam oferecer sugestões de exames, alertas de desvio das diretrizes e interfaces de navegação mais rápidas
- Uma ferramenta piloto extraiu as diretrizes de câncer de mama da NCCN para um esquema JSON com LLM e as armazenou como um grafo de 271 nós, mas a precisão está na faixa de 70–80% e não deve ser usada para decisões clínicas
O papel das diretrizes na padronização do tratamento do câncer
- Mesmo que dois pacientes com o mesmo tipo de câncer, estágio, tamanho do tumor e localização visitem hospitais diferentes, o ideal é que recebam o mesmo tratamento baseado em evidências ou os mesmos exames adicionais
- Na prática, médicos trabalham sob pressão de tempo, têm formações diferentes e podem não ter acesso imediato às pesquisas mais recentes
- As diretrizes clínicas organizam um vasto volume de evidências médicas em recomendações estruturadas e ajudam na padronização do tratamento entre hospitais e profissionais
- A resposta ao tratamento pode variar de paciente para paciente, mas seguir diretrizes baseadas em evidências pode aumentar a probabilidade de resultados positivos
Como as diretrizes da NCCN são elaboradas
- Oncologistas especialistas por tipo de câncer listam anualmente várias situações que podem surgir na prática e revisam as evidências clínicas para recomendar ações
- Ex.: câncer de mama inicial, lumpectomia prévia, paciente atualmente grávida
- Ex.: paciente com carcinoma ductal invasivo e tumor de 0,6–1 cm de comprimento
- As recomendações podem levar à solicitação de exames específicos, prescrição de tratamentos e definição de cronogramas de acompanhamento
- Os painéis revisam regularmente novas evidências e atualizam as diretrizes
- Como os tratamentos disponíveis variam por região, diferentes organizações produzem diretrizes diferentes, e a aplicação prática também é influenciada pela localização
- A NCCN é uma aliança de 32 grandes centros oncológicos dos EUA, e painéis multidisciplinares por tipo de câncer revisam e selecionam as pesquisas mais recentes para chegar a consensos sobre triagem, diagnóstico, tratamento e cuidados de suporte
- O resultado, as NCCN Clinical Practice Guidelines in Oncology, é usado no mundo todo como um padrão abrangente e amplamente adotado para o tratamento do câncer
Os problemas práticos da implementação baseada em PDF
- Em uma página das diretrizes de câncer de mama da NCCN há links como BINV-6, e cada link leva a uma página separada com seu próprio fluxograma
- O médico encaixa a situação do paciente no fluxograma e, quando surge uma informação desconhecida, como status de HER2, precisa solicitar exames ou seguir várias páginas até chegar a uma recomendação de tratamento
- Mesmo usando as diretrizes, é difícil alcançar padronização completa
- Pode haver várias opções de tratamento com níveis de evidência semelhantes
- A situação do paciente relacionada ao tratamento pode não estar explicitamente listada nas diretrizes
- O médico ainda precisa exercer julgamento, embora dentro de um intervalo mais estreito
- Centros de excelência como Mayo Clinic e MD Anderson, além de financiamento, oncologistas altamente especializados e acesso a ensaios clínicos, também contam com processos assistenciais sistemáticos e procedimentos de implementação de diretrizes
- Em qualquer hospital, o atendimento pode se desviar das diretrizes
- Ex.: a condição de uma paciente na pós-menopausa pode passar despercebida no prontuário e ela receber um tratamento mais bem sustentado para pacientes na pré-menopausa
- Como médicos atendem centenas de pacientes, alguns critérios podem ser omitidos mesmo quando as diretrizes estão acessíveis
- Melhorar os desfechos no tratamento do câncer envolve descobrir novos medicamentos e aprimorar técnicas cirúrgicas, mas reduzir as lacunas no cuidado baseado em evidências é uma abordagem imediata, universal e viável
As limitações quando a árvore de decisão fica presa em PDF
- As diretrizes concentram centenas de milhares de horas de trabalho de oncologistas especialistas, mas o produto final é um PDF denso e difícil de navegar
- Um oncologista que vê um subtipo raro de câncer de mama apenas a cada alguns anos precisa encontrar a versão correta do PDF, localizar a seção correspondente às características do câncer, seguir links por várias páginas e continuar acompanhando os fatores do paciente
- Como as diretrizes são revisadas continuamente e novas versões são distribuídas como PDFs separados, é fácil perder atualizações ou consultar uma versão antiga enterrada entre documentos clínicos
- Em essência, as diretrizes são uma árvore de decisão, e a equipe que as elabora investe grande esforço em organizar as evidências nesse formato
- Com dados adequadamente estruturados, máquinas poderiam interpretar as diretrizes
- Sistemas de prontuário poderiam sugerir automaticamente exames diagnósticos necessários ao paciente
- Poderiam exibir alertas ou modais de “tem certeza?” quando o tratamento se desviasse das diretrizes
- Médicos poderiam revisar as diretrizes de forma mais rápida e natural em vez de procurar PDFs
- As organizações que elaboram diretrizes deveriam oferecer, além do PDF para download, um formato estruturado e legível por máquina e, idealmente, todas as instituições e sistemas de dados de pacientes deveriam interpretar o mesmo formato
- Ainda assim, essa abordagem orientada a dados não faz parte da especialidade principal dessas organizações
Ferramenta piloto de diretrizes estruturadas
- Com base na experiência de trabalhar com oncologistas como engenheiro de software, foi criada uma ferramenta de prova de conceito para extrair árvores de decisão presas em PDFs para uma estrutura compreensível por máquinas
-
Design do esquema
- Primeiro foi definido um esquema capaz de representar a maior parte das informações das diretrizes da NCCN
- As diretrizes parecem uma árvore de informação, mas algumas referências podem voltar para trás, então há ciclos
- As diretrizes completas de um tipo de câncer se dividem em alguns grafos dirigidos separados entre si
- Cada ponto, como condição, característica qualificadora ou opção de tratamento, é representado como um nó, e referências bibliográficas e notas de rodapé relacionadas também são armazenadas no nó
- As setas do fluxograma e as referências entre páginas são representadas como relações entre nós
-
Extração de dados
- Na primeira etapa, o LLM percorre o documento e cria nós de referência para cada página das diretrizes
- As referências de página se tornam nós pais dos nós de nível superior de cada página, e quando outros nós apontam para uma página específica, eles apontam para esse nó de página
- Depois, o LLM lê as diretrizes em pequenos grupos de páginas e, junto com as referências de página, extrai uma representação JSON do esquema
- Esse processo foi aplicado às diretrizes de câncer de mama da NCCN, armazenando nós e relações em um banco de dados, com um total de 271 nós gerados
-
Visualização
- Foi criado um visualizador de grafo com a biblioteca React Flow, exibindo páginas que são nós raiz sem referências de entrada
- Ao clicar em um nó, seus nós filhos aparecem, e o usuário pode seguir o fluxo dos nós
-
Implementação do agente
- Foi implementado um agente que recebe o histórico clínico do paciente e percorre o grafo
- Primeiro, ele encontra o nó de nível superior mais próximo da situação do paciente e, em seguida, escolhe entre os nós filhos aquele que melhor corresponde ao caso
- Esse processo se repete até alcançar um nó folha ou até faltar informação para continuar
- A ferramenta piloto está disponível aqui
Limitações e próximos passos
- Os dados da demonstração não foram revisados e contêm erros e omissões, portanto não devem ser usados para decisões clínicas
- Foram investidas algumas horas no processo de extração e menos tempo no agente; com mais esforço, a precisão pode melhorar
- A precisão atual está em cerca de 70–80%
- A extração com LLM é uma forma fácil de criar um protótipo e, com revisão humana, pode ganhar confiabilidade, mas o ideal seria redigir as diretrizes em formato estruturado desde o início
- Os dados atuais ainda estão em estado semiestruturado
- Informações como causalidade e a forma de avaliar cada nó ainda exigem compreensão de linguagem natural em cada nó
- Trabalhos futuros podem definir um esquema mais estruturado e mais fácil de avaliar
1 comentários
Comentários do Hacker News
Acho que PDF é melhor. Ferramentas customizadas provavelmente variam entre clínicas e prontuários eletrônicos, e o custo de manutenção também seria alto
PDFs deixam a desejar em vários aspectos, mas têm longevidade e portabilidade. Mesmo trabalhando com dois oncologistas clínicos, basta usar o mesmo PDF
A intenção do autor é boa, mas no fim isso provavelmente vira uma ferramenta que só ele entende e pode acabar ficando pior por causa de inúmeras exceções
Não estou tentando construir isso para vender a instituições de saúde, mas queria mostrar o que se pode fazer com diretrizes clínicas estruturadas. Não vejo por que isso precisaria ficar preso a uma clínica específica ou a um prontuário eletrônico específico
Idealmente, as organizações que produzem diretrizes publicariam também uma representação estruturada junto com o PDF. A ferramenta de autoria poderia exportar nos dois formatos, e os oncologistas poderiam continuar usando o PDF enquanto os sistemas aproveitam os dados estruturados
Oncologistas da comunidade têm recursos tecnológicos mais limitados do que um centro nacional de câncer. Se isso puder facilitar a vida deles, já é algo positivo
Ainda assim, documentos publicados como PDF também são bons. Sistemas normalmente dificultam comparar, por exemplo, a versão de junho com a de setembro
Sistemas em forma de assistente escondem a maior parte das informações, podem ter bugs desconhecidos, dificultam percorrer caminhos alternativos, provavelmente ficam presos a usuários cadastrados e o sistema pode até sair do ar
Acho que sistemas computacionais muito mais inteligentes são o futuro da medicina, mas tenho dúvidas se começar por mais uma ferramenta customizada só para diretrizes oncológicas é a abordagem certa
Essa ideia não é nova. Se você procurar por computable clinical guidelines, vai encontrar bastante literatura acadêmica relacionada, e este artigo é um bom ponto de partida [1]
Na prática, já existem tentativas desde os anos 1970, e o famoso sistema especialista MYCIN é um exemplo representativo [2]
Como mostra a história do MYCIN, esse problema é muito mais sutil do que parece, envolvendo fatores técnicos, psicológicos, sociológicos e econômicos. É por isso que as diretrizes oncológicas continuam em PDF
Ainda assim, isso não é motivo para deixar de explorar. Só porque gerações anteriores não resolveram, não significa que seja insolúvel
[1] https://pmc.ncbi.nlm.nih.gov/articles/PMC10582221/
[2] https://www.forbes.com/sites/gilpress/2020/04/27/12-ai-miles...
Além disso, vale a pena olhar a Developer API da NCCN. Não tanto por ser tecnicamente interessante, mas por mostrar o ambiente de propriedade intelectual
https://www.nccn.org/developer-api
O ponto central é que é difícil para os médicos verificarem se suas recomendações realmente refletem a pesquisa clínica mais recente
Também é importante que a vantagem dos médicos de centros médicos de referência, que estão no centro da produção de pesquisa, possa ser oferecida a todos os médicos. Isso costuma ser chamado de problema de difusão do conhecimento
Hoje, a melhor abordagem são as revisões sistemáticas segundo os critérios da Cochrane [0]. Essas revisões exigem muito trabalho e são feitas com pouca frequência, mas, quando são bem feitas, têm enorme valor
Nessas revisões, também fica evidente com que frequência estudos publicados são excluídos por motivos como viés ou conjuntos de dados incompletos
A abordagem de Geiger no link tem uma excelente intenção, mas o resultado vai esbarrar nos mesmos problemas enfrentados por revisões sistemáticas manuais
Fico curioso se o autor considerou não apenas uma abordagem de aprendizado de máquina, mas também uma abordagem baseada em regras, como as diretrizes da Cochrane
[0] https://training.cochrane.org/handbook
As diretrizes da NCCN e as revisões Cochrane cumprem papéis complementares na medicina. A NCCN oferece algoritmos de tratamento do câncer práticos e atualizados com frequência, com base em pesquisa e consenso de especialistas, enquanto as revisões Cochrane oferecem uma análise rigorosa das evidências em toda a medicina, com foco mais forte em ensaios clínicos randomizados
As diretrizes da NCCN são mais fáceis de aplicar imediatamente na prática clínica, enquanto as revisões Cochrane oferecem uma análise mais profunda da qualidade das evidências
Meu objetivo principal era mostrar o que se pode fazer com qualquer diretriz médica devidamente estruturada. O padrão pode ser o que você quiser
Alguns curiosos acompanham, mas a atitude geral é que eles já passaram por uma formação difícil o bastante e não precisam mais disso
A ideia de que “o cerne das diretrizes clínicas é a árvore de decisão” é mais um desejo; mesmo como objetivo, pode não ajudar
As diretrizes clínicas quase nunca têm dados que cubram todos os caminhos de decisão possíveis. Elas relatam os desfechos bem sustentados, oferecem opinião de especialistas em alguns casos interpolados e, para parte do restante, apenas listam fatores a considerar
Reduzir isso a uma árvore de decisão deixa muitos ramos vazios, e a maioria dos especialistas consegue identificar fatores que deveriam levar a uma árvore mais complexa
O motivo é que os ramos quase nunca são determinísticos. Estão mais próximos de probabilidades quânticas, então é preciso sustentar várias possibilidades ao mesmo tempo, e só depois que o tratamento funciona ou falha a doença — neste caso, o câncer — revela sua forma
Até que a verdadeira estrutura de informação das diretrizes clínicas seja capturada, elas continuarão sendo transmitidas como uma descrição autoritativa e didática do padrão de tratamento
Em quase todos os casos, é mais importante publicar mais rápido e anexar as referências para aumentar a transparência do que simplificar ou transformar em procedimento operacional para elevar a taxa de adoção
A maioria dos médicos em áreas dinâmicas não precisa de simplificação. Eles superam a dificuldade do material com autodisciplina e diligência ao longo da vida, e usam as diretrizes clínicas principalmente como um quadro de comunicação e completude para verificar se trataram das preocupações conhecidas
Diretrizes clínicas estruturadas servem principalmente para que observadores externos controlem e fiscalizem, e esse método provavelmente não é produtivo
Por que todo o conhecimento humano não está em um único arquivo JSON gigante? Diretrizes clínicas são árvores de decisão, mas não foram escritas para aplicação mecânica. Porque não existem, nas famílias, dois pacientes idênticos com o mesmo câncer
As diretrizes clínicas não são para o médico lobo solitário de filme, descendo em tempo real por uma árvore de decisão em uma corrida contra o tempo com o câncer, mas para equipes clínicas altamente treinadas que colaboram entre si com familiaridade. Elas têm capacidade de perceber onde a diretriz está errada ou precisa ser ampliada ou corrigida
Em outras palavras, as diretrizes clínicas são uma abstração do estado da arte do atendimento
Seria ótimo se essas diretrizes pudessem ser tratadas como código-fonte em algum sistema de controle de versão médico, para que subespecialistas e médicos pudessem modificá-las ou fazer fork com facilidade. Mas as dependências biológicas são muito mais complexas que dependências de silício, e por um bom tempo ainda serão mais difíceis de discretizar
Isso não significa que a ambição do autor esteja errada. É excelente. Só que o avanço nessa área parece mais fácil quando acontece dentro das equipes envolvidas. O que parece conceitualmente simples de fora do sistema só parece assim por falta de resolução
Se há algo que eu queira ler, é um documento em papel pesquisável
É pelo mesmo motivo que folhas de dados ainda são PDF: porque é um formato confiável, durável e portátil
É ridículo que estejamos, na prática, imitando papel, mas não existe outro formato que ocupe esse espaço
Pela proposta original, o HTML deveria cumprir esse papel, mas nos últimos 20 anos o foco esteve em tudo, menos em tornar o HTML um formato melhor para intercâmbio de informação
Até algo trivial como empacotar um documento HTML complexo em um único arquivo não tem solução padrão. Em URLs
file://, cookies não funcionam, e coisas muito básicas não funcionam ou simplesmente não existemEm vez disso, surgem formatos derivados como ePUB, que em sua maior parte é HTML, mas na prática a maioria dos navegadores não oferece suporte
Nos últimos 10 anos, implementei esse tipo de procedimento computadorizado duas vezes em duas startups
Eu não quero que a NCCN faça isso
As diretrizes da NCCN não estão presas em PDFs, estão presas na cabeça dos médicos
Quando as diretrizes da NCCN entram como regras computadorizadas, essas regras passam a conduzir novamente as diretrizes. Isso se torna uma segunda força que afasta do conhecimento científico fundamental
Concordo totalmente que a sistematização das regras é necessária, mas ela deve ser totalmente subordinada ao conhecimento de fronteira em câncer, que muda com extrema frequência
Todos os anos, o conhecimento precisa ser atualizado após grandes congressos pan-oncológicos como a ASCO e também congressos específicos por doença, como o San Antonio Breast Cancer Symposium; e, sem esperar virar o ano, quando surgem resultados importantes de ensaios clínicos, os médicos precisam atualizar seu conhecimento por meio dos estudos mais recentes e da educação continuada. Isso compõe um corpo de conhecimento mais amplo, complementar aos limites do que a NCCN publica
Do ponto de vista de alguém que trabalhou a vida inteira entre ciência da computação e medicina, acredito que médicos conseguem atualizar regras muito mais rápido que programadores e bancos de dados
Espero que as diretrizes da NCCN permaneçam abertas em PDFs que qualquer pessoa possa verificar seguindo os links, em vez de ficarem presas em código espaguete compreensível apenas por alguns programadores
Edit: depois de digerir este texto por uma semana, talvez eu mude de ideia. Talvez a NCCN devesse padronizar suficientemente as variáveis clínicas para que transformá-las em regras se tornasse trivial. Só que as hipóteses dos ensaios clínicos precisariam se encaixar nessas regras, e vou precisar pensar mais uma semana para ver se isso é possível
Árvores de decisão funcionam para tomar decisões
Mas não funcionam tão bem quanto outras técnicas de decisão. Florestas aleatórias, modelos lineares, redes neurais etc. também são, em essência, técnicas de decisão
Em sistemas complexos com muitos dados, isto é, a saúde humana, árvores de decisão não têm bom desempenho
Então por que estamos usando uma técnica sabidamente inferior só porque é fácil de escrever em PDF, fácil de raciocinar em reuniões e fácil de explicar para alguém?
Não deveríamos usar o modelo matemático de ponta que produz a maior probabilidade de “cura”, mesmo que seja complexo demais para um ser humano entender?
Se for um modelo complexo demais para um humano entender, será ótimo explicá-lo no tribunal depois que se descobrir que ele era resultado de vazamento de dados ou de outro viés
A prática médica real frequentemente interpola entre esses pontos de dados
Do ponto de vista de um pesquisador em câncer, alguns ramos da árvore de decisão das diretrizes da NCCN se baseiam em estudos em que várias opções foram todas melhores do que placebo, mas sem diferença estatisticamente significativa entre si
Nesses casos, o clínico pode usar outros fatores para decidir qual caminho seguir. Em câncer de próstata, cirurgia e radioterapia são o exemplo clássico. Ambas têm eficácia aproximadamente semelhante, mas a experiência vivida pelo paciente é muito diferente
É muito pior do que se imagina. Trabalhei numa startup de saúde que lidava com o recrutamento de pacientes para ensaios de oncologia clínica, e os obstáculos eram enormes
Sinceramente, mesmo que os dados estivessem em texto simples, isso não faria tanta diferença. Os códigos de diagnóstico variam entre instituições médicas, a compreensão semântica das informações de diagnóstico também varia de uma instituição para outra, os prontuários eletrônicos são uma bagunça, e tudo é escrito em linguagem natural em vez de estar em estruturas de dados
Qualquer pessoa que já tenha trabalhado com software para saúde poderia contar histórias de horror muito piores
Espero que os grandes modelos de linguagem ajudem a organizar parte disso, mas, como quem já trabalhou com software para saúde sabe, esse problema não é técnico, e sim um problema profundamente humano
Ainda assim, há um ponto positivo. Colegas meus fizeram grande progresso usando teoria das categorias e Prolog para descobrir um protocolo de escalonamento de dose 3+3 em oncologia clínica comprovadamente ótimo [1]
O David fez uma excelente apresentação sobre isso no encontro do Scryer Prolog em Viena [2]
É impressionante o quanto a medicina ainda está na idade das trevas. Embora esta seja a primeira especificação executável e programável para ensaios oncológicos 3+3, ele ainda está lutando para convencer colegas médicos e administradores hospitalares de que este é o ensaio ideal. Nada surpreendente, já que eles não falam a linguagem de software nem de estatística
[1]: https://arxiv.org/abs/2402.08334
[2]: https://www.digitalaustria.gv.at/eng/insights/Digital-Austri...
https://jakeseliger.com/
https://github.com/Precisfice/DEDUCTION