XrayGPT: Resumo de radiografias de tórax usando um modelo médico de visão-linguagem (VLM)

• Pesquisa sobre análise automática de radiografias de tórax por raio X
• Ajuste fino do LLM Vicuna com dados médicos (100 mil conversas reais entre pacientes e médicos) e 30 mil diálogos de radiologia
• Melhoria do desempenho do LLM ao gerar resumos conversacionais limpos (~217k) a partir de conjuntos de dados gratuitos de relatórios radiológicos em texto (MIMIC-CXR e OpenI)
• Alinhamento de um Medical Visual Encoder congelado (MedClip) a um LLM ajustado (Vicuna) usando uma transformação linear simples

[cosine20]

Se você tiver uma radiografia de tórax em raio X, dá até para testar a demo diretamente.