Cancer Letters（IF=10.1）中科院自动化研究所田捷等团队：整合纵向MRI与活检全切片图像用于乳腺癌新辅助治疗反应的早期预测及个体化管理

01文献学习今天分享的文献是由中国科学院自动化研究所田捷、刘振宇团队联合广东省人民医院乳腺肿瘤科王坤、中国医科大学附属第四医院放射科张立娜等团队于2026年4月13日在《Cancer Letters》中科院1区topIF10.1上发表的研究“Integration of longitudinal MRI and biopsy whole slide images for early prediction of neoadjuvant therapy response and personalized management in breast cancer: A multicenter retrospective and prospective study”即整合纵向MRI与活检全切片图像用于乳腺癌新辅助治疗反应的早期预测及个体化管理一项多中心回顾性与前瞻性研究该研究开发了一种名为RePALM的多模态深度学习框架整合了临床信息、治疗前MRI、活检全切片图像WSIs和两个周期后的MRI用于早期预测乳腺癌患者对新辅助治疗NAT的病理完全缓解pCR。研究基于2604例回顾性多中心数据和72例前瞻性数据验证了模型的高效性和泛化能力并探索了其与RECIST 1.1联合使用、辅助影像科医生诊断、预测无事件生存期EFS及生物学机制解释等方面的潜力。创新点①首创整合纵向MRI与活检病理突破单一模态局限融合动态影像变化与微观病理特征预测新辅助治疗反应。②多阶段训练策略与前瞻性验证模拟临床数据获取时序在大规模多中心队列及前瞻性队列中验证模型鲁棒性。③多维度模型可解释性结合Grad-CAM、SHAP与RNA转录组分析揭示模型关注的影像区域及潜在生物学机制。临床价值①早期预测治疗反应仅需两个周期后MRI即可预测pCR避免无效治疗为调整方案或手术时机提供依据。②辅助临床决策与提升诊断准确性联合RECIST 1.1分层管理SD/PR患者辅助放射科医生将平均准确率从0.792提升至0.856。③预后评估与个体化治疗指导预测的pCR状态与无事件生存期显著相关有望筛选免于手术或需强化治疗的患者。图 1A-B研究设计总览A研究框架流程图展示RePALM的数据输入链路治疗前MRI (NAT前) →活检病理全切片 (WSI) →2周期NAT后MRI →融合临床信息→模型预测pCR/非 pCRB模型开发流程图分步训练1. 单模态独立训练MRI双U-Net、病理CLAM、临床编码2. 融合单模态预测概率 → 最终RePALM模型02研究背景和目的研究背景乳腺癌新辅助治疗NAT是术前标准化治疗方案旨在实现肿瘤降期、提高保乳手术可行性并评估肿瘤对系统治疗的敏感性。病理完全缓解pCR被视为治疗有效的重要替代终点但其发生率在不同分子亚型间差异显著——激素受体阳性/HER2阴性型通常低于15%而HER2阳性及三阴性乳腺癌可达30%~65%。然而pCR仅能通过术后病理确诊无法在治疗过程中提前获知这迫切需要在NAT早期预测治疗反应以便及时调整治疗强度、优化手术时机或终止无效方案。当前临床评估依赖影像学标准如RECIST 1.1和病理分型但肿瘤异质性、假性进展及成像固有局限性导致早期评估与术后病理结果一致性较差。近年来深度学习结合影像组学和数字病理学取得进展但多数模型局限于单模态或单时间点未能联合捕捉肿瘤在NAT过程中的动态形态演变及活检所反映的微环境特征。因此亟需构建一个整合纵向MRI与基线活检病理的多模态预测工具以提升早期反应评估的可靠性支持个体化治疗决策。研究目的本研究旨在开发并验证一个名为RePALM的多模态预测框架该框架整合了临床信息、治疗前MRI、活检全切片图像WSIs以及两个周期NAT后的MRI用于早期预测乳腺癌患者新辅助治疗后的pCR状态。研究通过四家医疗中心的2604例回顾性患者进行模型开发与外部验证并进一步在72例前瞻性队列中评估其泛化能力。采用逐步整合策略量化各模态的增量预测价值并与放射科医生的评估进行对比。此外研究探索了RePALM预测结果与RECIST 1.1联合应用对治疗分层的潜在价值通过转录组分析揭示模型预测背后的生物学机制如自噬、凋亡、药物代谢等通路富集以及评估模型评分与无事件生存EFS的预后关联。最终目标是提供一个可辅助临床医生早期调整治疗策略、实现乳腺癌个体化管理的智能化工具并验证其在多中心、前瞻性场景下的稳健性与可解释性。03数据和方法研究数据回顾性队列2604例患者来自4个独立中心A、B、C、D时间跨度为2013–2023年。前瞻性队列72例患者来自队列B2024–2025年招募。数据类型治疗前MRI、2周期后MRIHE染色的活检全切片图像WSIs临床病理特征年龄、激素受体、HER2、Ki-67等术后pCR状态金标准RNA测序数据60例用于生物学解释技术方法模型架构RePALM采用三阶段融合策略单模态模型MRI共享参数双U-Net、WSICLAM多实例学习、临床特征MLP融合模型将三个模态的预测概率整合为最终输出技术细节MRI肿瘤分割nnU-Net自动分割 人工校正WSI特征提取CONCH预训练模型768维模型解释Grad-CAM、SHAP评估策略内部验证 多中心外部验证 前瞻性验证读者研究5名影像科医生RECIST 1.1联合分层生存分析Kaplan-Meier转录组富集分析GO/KEGG04实验结果预测性能内部验证AUROC 0.8731AUPRC 0.7447外部验证B/C/DAUROC 0.891–0.897AUPRC 0.790–0.814前瞻性验证AUROC 0.8967AUPRC 0.8135增量价值融合模型显著优于单模态模型如ReC: 0.7228 → RePALM: 0.8893纵向MRI贡献最大活检WSI次之临床辅助RePALM可识别约90%的非pCR患者辅助低年资影像科医生提升准确率0.792 → 0.856预后能力RePALM预测的pCR组与真实pCR组在EFS上无显著差异p0.961具有良好的预后一致性生物学解释pCR预测组富集自噬、凋亡、药物代谢、PPAR信号通路等治疗敏感性相关通路图 1C-HRePALM跨队列性能图 2多模态信息融合的增量贡献图 3个体化治疗管理RePALMRECIST 1.1图 4读者研究RePALM辅助放射科医师图 5模型可解释性生物学机制05研究结论该研究通过构建多模态深度学习模型RePALM整合了临床信息、治疗前MRI、活检全切片图像WSIs以及两个周期后的纵向MRI数据实现了对乳腺癌新辅助治疗NAT反应的早期精准预测。研究基于2604例回顾性及72例前瞻性多中心患者验证结果显示RePALM在回顾性与前瞻性队列中表现稳健AUROC达0.873–0.897两个治疗周期后即可识别约90%的非病理完全缓解non-pCR患者为早期调整治疗策略如转为手术或临床试验提供了可靠依据。逐步整合多模态数据显著提升了预测性能其中治疗后MRI贡献最大活检病理次之。模型辅助可明显提高初级放射科医生的判读准确性且RePALM评分与无事件生存期EFS显著相关。通过与RECIST 1.1标准联合应用可对疾病稳定或部分缓解患者进行进一步风险分层指导个性化管理。转录组分析揭示了模型预测所对应的生物学基础如自噬、凋亡及微环境重塑等治疗敏感性通路富集。该研究为乳腺癌NAT反应的早期决策支持提供了可推广的多模态人工智能工具。参考文献Zhang S, Shi Z, Du S, Zhu T, Li P, Zhao R, Zhu X, Wu S, Tan Y, Xu W, Li B, Li Z, Wang K, Zhang L, Tian J, Liu Z. Integration of longitudinal MRI and biopsy whole slide images for early prediction of neoadjuvant therapy response and personalized management in breast cancer: A multicenter retrospective and prospective study. Cancer Lett. 2026 Apr 13;650:218508. doi: 10.1016/j.canlet.2026.218508​