[Eur Radiol] 深度学习引领的亚厘米肺结节精细管理

作者：肺癌前沿
编译：广东省肺癌研究所 杨雄雯 博士



摘要

目的:高分辨率CT(Computedtomography)的发展及应用普及不仅使得肺结节(直径≤30mm)的检测数量增多，而且能识别的结节更小，如肺部亚厘米结节(直径≤10mm)(Sub-centimeter pulmonary nodules, SCPNs)。虽然SCPNs恶性概率低，但进一步诊断和治疗难度较大。对于SCPNs的病理亚型的分类诊断，亟需新型的SCPN管理算法，以明确SCPNs的良恶性质及恶性程度。

方法:本文提出了一种多视图耦合自注意力模块(Multi-View CoupledSelf-Attention module, MVCS)，通过空间和维度的关联顺序建模来捕捉CT图像的全局空间背景。与现有的自注意力方法相比，MVCS减少了内存消耗和计算复杂度，揭示了以前方法没有发现的维度相关性，并且易于与其他框架集成。

结果:我们分析了来自LIDC-IDRI的公共数据集LUNA16、来自广东省肺癌研究所/广东省人民医院的1069名患者的1319个SCPNs，以及来自独立外部数据集的137名患者的160个SCPNs，以进行预训练、训练和验证模型。实验结果表明，该模型性能在准确性和稳定性方面优于最先进的模型，并且在分类癌前病变和侵袭性腺癌方面与人类专家相当。我们还将CT图像与患者的临床特征和放射学特征相结合，提供融合MVCS网络( Fusion MVCSN)。

结论:该工具最终有助于加快恶性SCPN的切除，避免良性SCPN的过度诊断，从而改善治疗效果。

1.引言

CT的进步不仅增加了检测到的结节数量，而且发现的结节也更小，如亚厘米肺结节(SCPN)。SCPN恶性发生率低，但进一步诊断和治疗难度大。首先，很难根据临床特征(患者年龄、吸烟史、既往癌症史)和影像学诊断(CT、HRCT或PET)来判断类型。其次，支气管镜检查或穿刺活检不能提供可测量的术前获益。再次，胸腔镜手术是可行的，但应以可控的方式进行，以减少良性病变的切除。目前临床普遍采用CT随访或增强CT的影像学评估方法，但难以反映每个SCPN的独特特征。在这项研究中，我们将探讨如何使用新工具来更好地改变当前的SCPN管理算法，以加快恶性肿瘤的切除，避免良性肿瘤的过度诊断。

与常见的肺结节分类任务相比，由于其亚型之间的相似性高，差异小，恶性SCPN的识别更具挑战性。到目前为止，在现有的解决方案中，最有效的方法是提取CT图像中局部可区分区域的语义特征，或者首先定位图像中的结节，然后对其进行分类。传统上，这些方法使用复杂的网络结构，大量的训练技巧，并且依赖于CT图像中结节锚定帧的信息，耗费大量的GPU计算。然而，局部和整体特征对于肺结节的恶性评估至关重要。帮助模型从输入数据中获取全局上下文信息，可以进一步提高识别性能。

注意力机制被认为是一种利用全局信息的有效方法，并在自然语言处理和二维图像分析中取得了成功，这是由于对远程依赖关系建模的有效性。挤压-激励(SE)注意是最常见的注意机制，具有通道级的建模特征。Zhang等人设计的M-SegSEUNet-CRF模型通过多尺度策略和空间自适应注意机制提高了UNet的分割能力，融合了这些特点，在肺部肿瘤分割任务中表现出色。然而，这种方法只关注沿空间维度的相关性，而忽略了深度维度之间的关系。卷积块注意力模块(CBAM)增加了深度维度的注意力，但需要人工设计复杂的操作和巨大的内存消耗，特别是对于3D医学图像。为了解决这两个关键问题，本研究设计了一种新的自注意力模块，用于辅助模型的远程依赖，提取三维医学图像数据的全局信息。

具体而言，我们提出了一个多视图耦合自注意力模块(Multi-View CoupledSelf-Attention module, MVCS)，该模块通过三个独立的空间自注意力模块来研究三个视图中像素之间的远程依赖关系，从而捕获局部和全局空间上下文信息。它的进步体现在五个方面:1)相对于其他注意力机制，MVCS可以对全局空间背景的空间和维度相关性进行顺序建模;2)在处理三维医学图像数据时，与现有的自注意力方法相比，MVCS减少了巨大的内存消耗和计算复杂度，比其他注意机制轻;3) MVCS可以很容易地与主流分类模型的骨干网集成，在不改变网络结构的情况下提高了网络性能。4)将MVCS模块应用于节点分类的骨干网络——3d ResNet。与其他模型相比，该模型具有较低的训练成本，对结节恶性程度的评估准确率较高。5)构建了一种新的基于融合MVCS网络(Fusion MVCSN)的SCPN管理算法，肺癌专家可以使用这种新工具来制定个性化的SCPN护理。

大量的实验结果表明，我们提出的模型在公共LUNA16数据集上的性能与最先进的方法相当。此外，我们将MVCSN与传统的临床和影像学诊断策略相结合，用于分类对象包含较少信息的临床场景。Fusion MVCSN在INTERNAL数据集(广东省人民医院数据集)上进行了训练和验证，在EXTERNAL数据集(独立外部数据集)上进行了测试。我们的融合MVCSN在准确性和稳定性方面优于最先进的模型。

2.材料与方法

2.1 数据收集

在LIDC-IDRI的公共数据集LUNA16上对节点分类网络进行预训练。在INTERNAL数据集中，纳入了广东省人民医院1069例接受胸部CT患者的1319个SCPN。在EXTERNAL数据集中，纳入了在多个中心(中山大学第三附属医院、茂名市人民医院或中山市人民医院)接受胸部CT的137例患者的160例SCPN。获得了所有患者的知情同意。

使用医学图像处理和导航软件ITK-snap手动勾画感兴趣体积(VOI)。每个结节根据病理诊断被赋予特定的病理标签(AAH、AIS、MIA或ADC)。

2.2 影像学评价及特征

收集对肺良恶性肿块有诊断意义的传统影像学指标，如结节长径、短径、平均直径、体积、平均密度、平均密度标准差(SD)、毛刺征、分叶征、胸膜牵拉、血管集束、钙化、支气管充气征、空泡征等。同时记录所有肺结节的Lung-RADS评分。

2.3 影像学及术中病理诊断

为了将深度学习系统与人类的表现进行比较，专家们对组织病理学结果和临床数据进行盲法独立分类和诊断EXTERNAL数据集中的SCPNs。

2.4 逻辑回归模型框架

分析CT形态学特征及定量参数与SCPN侵袭性的相关性。采用R软件建立Logistic回归模型。

2.5网络设计与配置

为了充分利用体数据的三维空间上下文信息，进一步提高识别性能，受ResNet和迁移学习的启发，设计了MVCS。该模型由三个新颖的独立空间自注意力模块组成，用于帮助模型建模提取远程依赖关系和全局信息(图1)。



2.6 分类器评价

2.6.1三分类

在实际的分类模型中，我们将AAH和AIS归为一类，即AAH-AIS，从而形成了AAH-AIS、MIA和ADC的三类分类。

2.6.2 两个二分类的子任务

根据临床实践的需要，我们将三分类模型细化为1) MIA-ADC和 AAH-AIS二分类和2) ADC与非ADC二分类(AAH-AIS- MIA)两个二分类子任务。

2.7 统计分析

所有统计分析均采用R (v.3.6.0)或Python (v.3.7.0)进行。

3．结果

3.1 患者特征和数据集

预训练、训练、验证和测试数据集如图2所示。INTERNAL和EXTERNAL数据集共纳入1233例患者的1479个SCPNs结节。



3.2 SCPN的临床和放射学特征

图像分割后，测量几种常用的临床影像学参数并进行分类(表1)。表2中提到的所有参数均纳入Logistic模型。



3.3与以往研究比较

由于预训练模型是基于LIDC-IDRI- LUNA16数据集，我们比较了基于该数据集的先前研究。





的几个模型(表3)。我们将我们提出的模型与最先进的方法进行了比较，包括Kumar等人、Multiscale CNN、Multi-crop CNN、Slice-level 2D CNN、Nodule-level2D CNN、Vanilla 3D CNN、Deep 3D DPN、Nodule Size + Pixel + GBM、DeepLung、Ensemble 3D Dual Path Networks和NASLung。从表3中可以看出，我们提出的模型与其他最先进的方法相比，准确率和FPR都是最高的，这说明我们的模型具有更强大的结节表示学习能力，可以准确地对良恶性特征进行分类。

同时，我们在Logistic模型中提取临床医生诊断小结节所需的信息。最终，我们的融合模型(Logistic模型+ MVCSN)在诊断SCPN方面优于先前的模型。

3.4. 使用MVCS进行有效性分析

为了证明所提出的MVCS的有效性，我们通过在基础网络中添加MVCS模块中的亚模块来分析每个部分对分类结果的影响。其他三种基线方法和一种基于自注意的方法包括如下。

实验证明我们框架中的创新带来了显著的增强。基线(3D ResNet)性能较差。主要原因是

典型的由堆叠卷积层解释的卷积块不能完全学习结节的表示。空间自注意力模块帮助基线模型在准确率、FPR和F1-Score上分别提高了3.26%、9.09%和2.2%。利用维度自注意力时，准确度、灵敏度、FPR和F1-Score分别达到5.43%、8.81%、3.63%和6.53%。这些改进证明了两个注意模块在建模像素之间的远程依赖关系和捕获全局和重要上下文信息方面的有效性。此外，当这两个模块组合使用时，由于多视图信息的自适应融合，精度、灵敏度、FPR和F1-Score分别提高了9.68%、10.81%、9.09%和11.42%。上述大量的实验结果表明了MVCS模块的强大功能及其在提高模型性能方面的重要意义。



同时，我们也比较了Vanilla自注意力模块和MVCS的性能。Vanilla自注意力模块和MVCS模块都可以提高ResNet的性能。具体来说，Vanilla自注意力模块帮助基线模型在准确率、FPR和F1-Score方面分别提高了3.26%、7.27%和2.7%。与Vanilla自注意力模块相比，MVCS在准确率、FPR和F1-Score上分别提高了9.68%、9.09%和11.42%。

3.5 三分类模型的评价



在三分类模型中， Fusion MVCSN的准确率(0.69)、加权平均F1评分(0.67)和MCC(0.43)均优于专家(表4)。总体而言，专家对SCPN的诊断准确率较低，最佳准确率仅为0.58。此外，我们在外部数据集上观察了Deep-RadNet、LCP-CNN和3D DenseSharp Network的性能，其精度分别为0.56、0.59和0.65。

3.6 两个二分类的子任务评价

深度学习系统在两种二元诊断模型中表现良好(表5)。在癌前病变(AAH-AIS)和浸润性腺癌(MIA-ADC)的二分类模型A中，其准确率和加权F1评分均优于专家(0.83 VS. 0.73和0.82 VS. 0.76)。病理医师在此二分类诊断中MCC最高(0.51)(表5)。在非ADC (AAH-AIS-AAH)和ADC的二元分类模型B中，其准确性、加权F1评分和MCC均优于表现最好的专科医师(0.85 VS. 0.81、0.83 VS. 0.84和0.53 VS. 0.38)。



3.7. 框架可视化

首先，为了研究CNN在图像特征提取部分集中在哪个区域，使用了SmoothGrad可视化。如图4所示，红色代表较高的贡献率，蓝色代表较低的贡献率。其次，为了研究Fusion MVCS提取特征的有效性，使用t-SNE将训练样本的图像和非图像特征投影到二维(2D)空间(图5)。图5B显示了测试集(EXTERNAL数据集)中诊断模型在10次交叉验证中的性能。从图5C中可以看出，尽管存在少量的误分类错误，但大多数训练样本的分布都是合理的，这说明成功提取了用于AAH/AIS、MIA和ADC分类的有效特征。



4. 讨论

肺小结节是否需要手术以及手术时机对患者和专科医生都非常重要，尤其是小于1 cm的肺结节，穿刺活检失败率高。对于肺结节，影像科医生和胸外科医生主要根据典型的可见影像学特征(大小、病灶边缘、实性成分等)进行诊断；然而，这些特征在SCPN中并不明显，这使得专家很难根据这些特征有效地诊断结节(图 6)。虽然，现有模型在良性和恶性SCPN的识别上也能取得较好的效果。然而，为了进一步划分病理亚型，现有模型的性能并不令人满意。我们的Logistic模型根据医生诊断肺结节的相关指标进行汇总，准确率为0.62。本研究和既往研究报道的SCPN人工诊断准确率为0.56 ~ 0.58。然而，对于较大的肺结节或肿块，经验丰富的影像科医生的诊断准确率可达90%。因此，新的高精度影像学诊断方法对后续临床决策具有重要意义。在本研究中，我们将新的深度学习方法与Logistic模型相结合，并使用了相对较大的数据集，这使得该模型的性能超过了同类诊断模型。在实际应用中，该模型的分类性能优于影像科医生和胸外科医生，该模型的分类性能优于术中冷冻病理。



持续学习和发现看不见的层次特征是深度学习和机器学习的一些优势，可以帮助更好地识别肺癌亚型。此外，虽然在癌前病变到浸润性腺癌的转变过程中影像学特征逐渐改变，但许多重叠的特征使得影像科医生和胸外科医生在诊断时难以准确评估这些特征。如前所述，即使在资深影像科医生和胸外科医生中，SCPN的诊断率仍然很低。此外，术中冷冻病理诊断要达到高精度也是一个挑战，这对于大的肺癌来说是难以想象的，但这确实是亚厘米级LUAD诊断的现状。



ResNet是过去几年计算机视觉和深度学习领域的开创性工作。与经典的卷积神经网络相比，ResNet可以训练数百甚至数千层，并且在这种情况下仍然表现出优越的性能。由于其强大的表示能力，除了图像分类之外，还改进了许多计算机视觉应用，包括目标检测和人脸识别。

另一方面，3D影像组学近年来得到了广泛的应用。通过迁移学习，我们的MVCS可以从大型公共数据集上预训练的大型3D神经网络中受益。所提出的MVCS可以帮助基于CNN的模型克服卷积层内接受野大小的限制。具体而言，设计了两种类型的自注意力机制来研究空间注意和维度注意之间的关系，并提出了一种视图互补方法来模拟局部和全局空间上下文信息。该模型解决了自关注中的两个问题:1)仅通过计算空间维度的相关性来构建依赖关系，而忽略了深度维度之间的关系;2)三维医学图像数据内存消耗大，计算复杂度高。大量的实验结果表明，我们提出的模型具有与LIDC-IDRI公共数据集上最先进的方法相当的性能。

基于MVCS模型和临床医生诊断的先验知识构建Fusion MVCSN。我们的Fusion MVCSN在三分类任务和两个二分类子任务上表现最好。在实验中，我们使用加权F1分数和MCC来综合评价模型的性能。我们可以看到，融合MVCSN也是稳定的。与此同时，在现实世界中，我们观察到MIA占了大多数SCPN。因此，融合MVCSN基于与流行病学一致的数据集，可以应用于临床实践。理论上，结合患者的影像学特征和临床信息可以更好地进行分类。事实上，Fusion MVCSN比Logistic模型和MVCSN更准确、更稳定。

据我们所知，我们的模型是目前亚厘米级肺腺癌分类中表现最好的模型。此外，我们使用了与以往同类研究相比最大的数据集，并在独立的外部数据集上进行了测试。与专家的诊断相比，我们的深度学习诊断系统有明显的提高。我们的团队使用了来自多个中心的数据集，使该模型具有应用和推广价值。

我们的研究有几个局限性。首先，常规良性肺结节(如炎性结节、错构瘤等)未纳入我们的研究，主要原因是病理确诊的患者数量较少，难以纳入深度学习系统进行分析。此外，我们的研究中大多数ADC主要是腺泡亚型LUAD，未包括微乳头亚型和实性亚型，这可能导致诊断偏差。这在一定程度上反映了需要更大的数据集来使模型更真实。

其次，本研究中对SCPN的分割方法是基于人工分割的，虽然采取了避免错误的措施，但该方法仍可能存在潜在的主观人为影响。虽然自动分割或半自动分割方法在较大的肿瘤中取得了较好的效果，但由于SCPN的特点，其病变多为空泡征象或血管渗透征象，且病变范围较小，使用机器分割的效果并不理想，未来的研究可能需要针对此类小病变疾病或肿瘤开发更准确的分割方法。

本研究的另一个限制是深度学习系统的可解释性。尽管在人工智能系统的解释方面取得了很大进展，但充分理解深度神经网络的内部机制仍然是一项艰巨的任务。特别是在生物医学分析中，我们非常想了解成像结果如何与特定的分子模式、基因型(如EGFR和ALK)和肿瘤内微环境相关联，这仍然是一个严峻的挑战。驱动基因突变的亚厘米LUAD的生物学行为是否更具侵袭性尚不清楚。相比之下，在本研究的1479个结节中，仅检测到852个EGFR突变，目前的深度学习方法不足以产生合理的结果。

在未来，我们需要更加关注SCPN。SCPN的准确诊断可以进一步改变治疗策略，例如，一些SCPN可以接受更微创的治疗，如立体定向放疗或消融。为了实现这一目标，需要更多的数据和改进的算法。

综上所述，在亚厘米肺腺癌的诊断中，深度学习系统可以在一定程度上帮助医生提高工作效率，指导医生的治疗决策。

致谢： 特别感谢参与本项研究的各单位及课题组

广东省人民医院：钟文昭教授课题组

广东省人民医院：梁会营教授课题组

中山大学第三附属医院：黄劭洪教授课题组

茂名市人民医院：苏晓阳 医生

中山市人民医院：唐文芳 医生

Case Western ReserveUniversity：Dr.Qikui Zhu

参考文献：Yang X, Chu XP, Huang S, et al. A novel image deep learning-based sub-centimeter pulmonary nodule management algorithm to expedite resection of the malignant and avoid over-diagnosis of the benign [published online ahead of print, 2023 Sep 2]. Eur Radiol. 2023;10.1007/s00330-023-10026-2. doi:10.1007/s00330-023-10026-2

微信扫二维码转发分享

游客，您所在的用户组（游客）暂无权限查看回复内容，请微信注册本站