本文题为《单细胞多模态分析揭示非小细胞肺癌治疗反应的肿瘤微环境预测》，由Yuanning Zheng、Christoph Sadée、Michael Ozawa等人共同完成，作者单位包括斯坦福大学医学院等。该研究针对非小细胞肺癌中免疫治疗反应率有限的问题，提出了一种整合多重免疫荧光成像、全切片组织病理图像和RNA测序数据的多模态分析方法，系统刻画了肿瘤微环境的细胞组成、空间结构及信号调控特征。研究开发了深度学习模型NucSegAI，实现了组织切片中细胞核的自动分割与分类，并在此基础上识别出与免疫治疗反应相关的淋巴细胞空间表型。结果显示，富含细胞毒性T细胞的空间结构与治疗反应和生存期延长显著相关，基于组织图像构建的细胞毒性T淋巴细胞评分在预测免疫治疗反应方面优于传统PD-L1免疫组化评分，且多模态融合模型进一步提升了预测性能。研究表明，整合多模态肿瘤微环境特征可有效指导患者分层与个体化治疗策略选择，推动精准肿瘤治疗的发展。
01 摘要
研究通过结合多重免疫荧光、全切片病理图像与转录组数据，系统解析了非小细胞肺癌肿瘤微环境的细胞表型、空间构型与分子调控机制。团队构建了深度学习工具NucSegAI，实现组织图像中细胞核的精准识别与分类，进而发掘出具有预测价值的淋巴细胞空间分布模式。分析表明，细胞毒性T细胞的局部富集与患者治疗反应和生存改善密切相关；基于此构建的免疫评分模型在疗效预测上显著优于传统PD-L1检测，而多源数据融合策略进一步增强了模型的判别能力。该研究为基于肿瘤微环境特征的精准分型与治疗决策提供了新的方法论支持。
02 研究背景
非小细胞肺癌占所有肺癌病例的80%以上，是全球癌症相关死亡的主要原因。尽管免疫检查点抑制剂的出现革新了治疗格局，但其临床响应率仍局限在27%-45%之间，意味着超过半数的患者无法从中获益。目前基于PD-L1表达水平、肿瘤突变负荷等生物标志物的预测方法存在评估不一致、预测效能有限等问题，难以精准识别潜在应答人群。
肿瘤微环境作为影响治疗反应的关键因素，其细胞组成与空间结构特征尚未被充分挖掘。传统免疫组化等方法难以全面捕捉肿瘤组织中复杂的细胞相互作用和空间分布模式。近年来发展的多重荧光成像技术虽能实现多参数空间分析，但由于技术成本高、操作复杂，限制了其临床推广。与之相比，常规采集的H&E染色组织切片成本低且易获取，如何从中提取有预测价值的微环境信息成为重要研究方向。
在此背景下，研究旨在通过整合多模态数据，系统解析非小细胞肺癌肿瘤微环境的特征，开发可临床应用的生物标志物，以改善患者分层并指导个性化治疗决策。
03 模型设计
该研究核心是开发并应用了一个名为NucSegAI 的深度学习模型，旨在从常规H&E染色组织学图像中实现精准的细胞核分割与分类，并在此基础上进行单细胞水平的空间表型分析。
（1）基础架构：NucSegAI的核心骨架是Hover-Net模型，这是一个专为组织病理学图像设计的、能够进行端到端同时核分割与分类的卷积神经网络。该架构包含串联卷积单元、残差单元和解码器单元，形成三个分支，能够同时完成核像素分割（判断像素是否属于细胞核区域）、霍夫向量预测（将连在一起的、重叠的细胞核分离开）和核分类任务（对该细胞核进行分类）。
（2）创新训练范式：与依赖人工标注的模型不同，NucSegAI采用了一种以多重免疫荧光（mIF）图像作为“金标准” 的训练策略。具体如下：
1）数据源：使用一个公开的结直肠癌数据集，该数据集提供了同一组织切片的mIF图像和配准的H&E图像，并且两者在像素级别进行了空间对齐。
2）标签生成：利用mIF图像中33种蛋白标志物的表达水平，通过一种分层谱系分配策略，将220万个细胞客观地分类为五种类型：肿瘤细胞、淋巴细胞、巨噬细胞、血管细胞和成纤维细胞。这一过程避免了人工标注的主观性和局限性。
图2 | 示例区域细胞类型标注及对应免疫荧光信号
3）迁移学习：模型首先在结直肠癌数据集上进行预训练，学习基础的细胞核形态和分类特征。然后使用由mIF数据和病理专家共同标注的一小部分（n=30）NSCLC组织图像进行微调，使其适应NSCLC的细胞形态学特征。
在NucSegAI完成细胞核识别的基础上，研究对每个细胞核提取了三个层面的特征，以进行深度表型分析：
图3 | 单细胞多模态表型分析流程示意图
（2）纹理特征：刻画细胞核内部的像素分布模式，通过计算核区域内像素的灰度级分布来获取
（3）拓扑学特征：采用图论计算方法。以每个淋巴细胞为中心，构建其与周围五种不同细胞类型（淋巴细胞、肿瘤细胞、巨噬细胞、血管细胞、成纤维细胞）的空间邻域图。从每种类型的图中计算拓扑特征，最后将所有特征拼接，形成一个综合的特征向量来表征每个细胞。
04 实验设置
（1）队列：研究纳入132名NSCLC患者，收集了他们的临床信息、全切片H&E图像（115人）和组织RNA测序数据（122人）。
（2）免疫治疗亚组：筛选出34名在开始接受抗PD-1/PD-L1抗体治疗前进行了肿瘤取样的患者，这些患者根据RECIST 1.1标准被分为应答者（n=11）和无应答者（n=23），用于分析免疫治疗反应。
（3）多区域mIF成像：对其中50名患者的肿瘤组织，采用多区域采样策略，从每个肿瘤中至少选取两个不同的1mm²区域，构建成包含255个组织芯的组织微阵列，并使用33种抗体的panel进行mIF成像，最终分析了150万个细胞。
（1）基准对比：将NucSegAI与三个现有模型进行性能比较
1）Hover-CoNSeP：在CoNSeP数据集上训练的Hover-Net模型，是细胞核分割与分类的常用基准。
2）Hover-MoNu：在MoNuSAC数据集上训练的Hover-Net模型。
3）Yolo-NLST：在来自美国国家肺癌筛查试验的专有标注肺癌组织病理图像上训练的HD-Yolo模型，代表了在特定肺癌数据上训练的先进目标检测模型。
（2）评估指标：使用精确度、召回率和F1分数来评估核分割和细胞分类的性能。同时，通过计算模型预测的细胞数量与mIF“金标准”之间的Spearman相关系数，来评估其准确性。
1）使用线性混合效应模型来比较细胞比例或空间特征，并将患者ID作为随机效应以考虑同一患者多个组织区域的相关性。
2）使用Mann-Whitney U检验进行组间比较。
05 结果与分析
在核分割和细胞分类任务上，NucSegAI的F1分数分别达到0.70和0.76。与基准模型相比，NucSegAI在颗粒度、敏感性和准确性上均表现更优。它能有效识别所有五种细胞类型，而Yolo-NLST难以分割炎症和基质细胞，Hover-MoNu则容易将无细胞成分误判为巨噬细胞。
图4 | 细胞类型比例与临床特征的关联分析
1）术后预后：富含肿瘤细胞与淋巴细胞的区域比例高的患者，其无进展生存期显著延长；而富含巨噬细胞的区域则与疾病进展和较短生存期相关。
2）免疫治疗反应：在治疗前肿瘤中，应答者的细胞毒性T细胞比例显著更高，且这些T细胞与树突状细胞、单核细胞和肿瘤细胞的空间相互作用更频繁。基于mIF空间邻域定义的细胞毒性T淋巴细胞评分（CTL评分） 预测免疫治疗应答的AUC高达0.90，显著优于PD-L1表达水平。
图5 | 应答者与非应答者肿瘤中的细胞类型平均比例比较
通过sc-MTOP分析4560万个细胞，将淋巴细胞分为12个表型簇。其中，Lym2表型与CD8+ T细胞、T细胞介导的免疫相关基因签名呈强正相关，且在免疫治疗应答者和总生存期更长的患者中比例显著更高。基于Lym2比例的组织学CTL评分预测免疫治疗应答的AUC为0.78，同样优于PD-L1 IHC评分（AUC 0.62）。
（3）多模态融合实现最佳预测性能
将来自mIF、组织学和RNA-seq三种数据模态的CTL评分融合后，构建的融合评分在识别免疫治疗应答者方面达到了最高的AUC（0.94），超越了任何单一模态，证明了整合多维度微环境信息可最大化预测效能。
图7 | 多模态融合评分在预测免疫治疗应答中的性能比较
06 结论
研究的核心结论是肿瘤微环境的空间结构是预测非小细胞肺癌免疫治疗反应和预后的关键决定因素。通过多模态分析，研究首次在单细胞分辨率上系统揭示，细胞毒性T细胞若能与树突状细胞等抗原呈递细胞在空间上紧密相邻、形成特定的“免疫活化”微环境，则患者对免疫治疗的反应更佳、生存期更长；反之，若T细胞被成纤维细胞等物理阻隔，则疗效较差。
基于此发现，研究成功开发了深度学习模型NucSegAI，能够精准地从常规H&E染色切片中自动识别细胞并量化其空间表型。由此构建的细胞毒性T淋巴细胞评分，无论在多重免疫荧光、转录组还是组织学数据上，均能稳定、有效地识别潜在的治疗应答者，其预测性能显著优于临床常规的PD-L1检测。
最终，研究证实融合多模态数据（mIF、组织学和RNA-seq）能够实现最佳的预测效能。这为将空间生物学特征转化为临床可用的生物标志物提供了强大工具与方法学框架，有望推动NSCLC的精准免疫治疗分型与个体化策略选择。
07 论文评价
✅方法创新亮点
开发了基于多模态真实数据训练的深度学习模型NucSegAI，突破性地实现了从常规H&E切片中精准分割和分类细胞核，解决了传统模型依赖人工标注、成本高且主观性强的问题。
首次在单细胞尺度系统揭示了肿瘤微环境中细胞毒性T细胞的空间分布模式与免疫治疗疗效的直接关联，确立了空间邻域表型作为超越PD-L1表达水平的新型预测标志物。
构建了可跨模态应用的细胞毒性T淋巴细胞评分体系，并证明多模态融合
⚠方法不足
研究的发现主要基于来自单一医疗中心的回顾性队列，其样本量和患者群体的多样性有限，这可能影响模型的普适性。尽管研究采用了多区域采样策略，但对肿瘤内异质性的捕捉仍可能不够全面，复杂的空间表型在更大规模、多中心队列中的稳健性仍需进一步验证。此外，深度学习模型NucSegAI虽然展现出优越性能，但其生物学解释性仍有提升空间，从组织形态特征到免疫微环境功能机制的因果关联尚未完全阐明。
08 参考资料
DOI: 10.1126/sciadv.adu2151
图文：植洁莹
