返回代表工作
Anatomical-Clinical Vision Fusion for Multimodal Clinical Prediction with Frozen Brain MRI Encoders
围绕冻结的 3D 脑 MRI 编码器，对齐 MRI 表征、AAL 脑区体积和临床信息，研究轻量多模态增强与防泄漏评测。
- 我的角色
- 多模态方法设计、实验与评测
- 方法与工具
- 3D MRI · Contrastive learning · BioClinicalBERT · Leakage-aware evaluation
01
问题与挑战
预训练 MRI 编码器能够提取影像表征，却不直接包含脑区体积和临床语义。直接重训成本高，评测中还需避免认知评分等信息造成标签泄漏。
02
关键贡献
设计 SigLIP 风格跨模态对比目标，将影像、结构化体积与临床文本映射到共享空间。
采用冻结编码器与轻量投影层，控制训练成本并保留可迁移性。
设计排除认知捷径的评测协议，并开展跨模态消融与失败分析。
03
结果与公开边界
论文目前在投。公开页面不展示内部指标或受控数据。
研究进行中，代码与论文暂未公开。