相关性图:磁共振成像中3D脑肿瘤的弱监督分割方法

1.简介

随着磁共振成像(MRI)等医学成像在诊断程序中的使用越来越多，对基于深度学习的计算机辅助诊断系统的需求也有所扩大，以缓解放射科医生的压力。这些系统已经取得了巨大的成功，可以快速检查潜在的恶性病例，为患者提供更好的护理。然而，训练准确可靠的深度卷积神经网络(cnn)需要大量的细粒度注释数据集(例如，手动肿瘤注释)。然而，这样的数据集并没有被广泛使用，主要是因为手动注释的成本过高。这为探索弱监督解决方案提供了机会，其中使用弱标签(例如，全局分类)，可以获得诸如感兴趣区域(ROI)分割等细粒度信息。例如注意力网络(1)已被提出作为潜在的解决方案。Nie D.等人提出了一种基于注意力的半监督深度网络，用于医学图像分割，通过结合CNN使用对抗学习生成置信度图(1)．然后，作者使用训练好的CNN模型来合并未标记的图像来产生分割。然而，这样的解决方案需要使用修改后的网络架构进行再培训。这在临床部署的环境中是不实际的，由于使用外部机构的安抚数据预训练的模型等限制，再培训是不可行的。另一组常用的方法是基于类激活映射(CAM) (2)．这些方法使用了将输出层的权重投影到最后一个卷积特征映射上的思想。然而，由于从最后一个卷积层获得特征图，这些方法与3D CNN架构相斗争，因为它们产生低分辨率的输出。这就强调了需要一个弱监督的事后解决方案来解决3D医学图像分割问题。

这项工作提出了分类相关性图，一种模型不确定的弱监督分割方法，基于超像素上的一种新的最优扰动生成输入图像的ROI。此外，我们表明该方法也可以用作3D CNN架构的有效的事后可视化工具，通过生成详细的ROI来提高临床使用的可解释性。最后，我们将所提出的方法应用于脑肿瘤分割任务。我们的主要贡献总结如下:

•相关性图，一种使用摄动生成分割的事后解释性算法。

最佳摄动:一种方法，产生最有效的摄动给定的分割区域的图像。

2.背景

2.1.脑部肿瘤

脑瘤是一组肿瘤，是脑细胞生长和分裂时产生的异常组织(3.)．这些肿瘤也被称为颅内肿瘤，因为它们有自己特定的生物学、预后和治疗方案。脑瘤可以是良性的(不是癌症)，也可以是恶性的(癌症)，它们可以对患者的生活质量产生重大影响(4，5)．问题可能是一般性的，比如头痛、厌食症、恶心、癫痫发作和失眠。它还可能导致由于神经系统退化而引起的次要问题，如人格改变、认知缺陷和视野缺陷(6)．

胶质瘤是最常见的脑瘤类型(5)．世界卫生组织将这些肿瘤分为四个等级(7)．一级和二级属于低等级，三级和四级被认为是高等级。一级肿瘤最不可能是恶性的，也最不可能通过手术治愈。它们生长缓慢，能使病人长期存活。II级肿瘤生长速度相对较慢，但可能复发为高级别肿瘤，并有一定浸润性。III级为恶性浸润性，可升级至IV级。最后，IV级为恶性最强，侵袭性最强。每种类型可以根据其他因素分解成更多的子类型。这些分类有助于确定对患者的适当护理。

2.1.1.肿瘤成像和放射学管道

作为第一步，患者将被分配一种类型的成像。每种成像类型的功能各不相同。然而，磁共振成像(MRI)已经成为脑肿瘤评估的首选方法。在本节中，我们将简要介绍诊断脑瘤患者的典型工作流程。一旦图像被捕捉到，它们就会被送到神经放射学家那里。神经放射科医生检查和评估脊柱、头部、颈部和神经系统的图像。他们通常比较不同的MRI序列，决定肿瘤类别，并建议进一步分析，如活检。他们还使用计算机辅助诊断(CAD)系统。CAD系统可以进行更有效和准确的诊断。现代cad主要负责图像预处理、分割、特征提取和分类。 These systems are powered by traditional machine learning and deep learning approaches (8)．放射学的人工智能希望改善这些系统。肿瘤区域的分割在改进这些方法中起着关键作用。例如，放射组学依赖于获取肿瘤内部的特征。然而，目前的分割生成过程涉及大量的人类专家参与。由于大多数学习方法都需要专家注释，因此放射科医生需要在给定的MRI扫描中标记感兴趣的区域。这占用了放射科医生宝贵的时间，也限制了训练此类系统的可用数据，因为该过程成本高昂。在这项工作中，我们关注这个问题，我们是否可以在不需要深度学习方法的专家注释的情况下生成ROI分割?

2.1.2.脑肿瘤的分类和分割

分类和分割一直是人工智能医学成像领域的关键问题。准确而快速的肿瘤分类可为病人提供更好的护理(9)．肿瘤感兴趣区域(ROI)的分割通常在分类前进行。这使得模型能够学习肿瘤内部的特征，从而更好地分类。此外，一旦分割，这些ROI区域可用于完成更困难的分类任务，如患者生存预测或o6 -甲基鸟嘌呤- dna甲基转移酶(MGMT)启动子甲基化状态分类器(10，11)．

在这项工作中，我们专注于胶质瘤肿瘤。随着多模态脑肿瘤分割挑战赛(BraTs)的推出(12- - - - - -15)，已提出几种成功的方法来分类高脂蛋氨酸和低脂蛋氨酸(16，17)．然而，这些方法中的大多数都依赖于肿瘤(ROI)分割，然后对存在肿瘤ROI的2D切片进行分类或预识别，需要精细的专家注释。Rehman a .等人提出使用3D CNN分割肿瘤，然后在分割的ROI上训练VGG19分类模型。该方法在BraTs 2015、2017和2018年数据集上的准确率分别为98.32%、96.97%和92.67% (18),分别。Haq E.等人利用区域建议网络(RPN)在预选切片上提出了二维CNN分类器(19)．该方法在BraTS 2018数据集上的准确率达到96.5%。一些基于三维cnn的直接分类方法已经被提出，它们只依赖全局标签，使用整个体积对肿瘤进行分类。Shahzadi I.等人提出了一种CNN-LSTM级联网络来分类LGG和HGG肿瘤的三维脑MRI (20.)．在BraTs 2015数据集上，他们实现了84%的分类准确率。Mzoughi H.等人提出使用带有预处理管道的深度CNN模型，并在BraTs 2018数据集上实现了96.5%的分类准确率(21)．大多数直接的3D体积分类都滞后于预分割方法实现的性能，并且局限于在缺少ROI的情况下进行简单的分类。这突出了预分割在分类任务中的关键作用。这项工作将我们提出的方法应用于从基于三维cnn的全体积分类模型中生成roi。

2.2.弱监督模型

弱监督可以定义为仅使用信息子集训练的模型。它们可以分为两类，一类需要部分注释，如种子点或边界框，另一类只需要全局级别的全局分类标签。弱监督方法已在各种医学影像相关问题上实施。Gama P.等人提出了基于稀疏标记图像的少镜头语义分割胸部x线肺分割(22)．Roth H.等人提出了一种基于非精确监督的方法来分割三维CT扫描的腹部器官，首先用随机步行者算法生成一个感兴趣的点(23)．该方法与完全监督的深度学习方法相比获得了相当的DSC分数。在脾脏分割任务中，表现最好的弱监督方法实现了0.948 DSC评分，而完全监督的DSC评分为0.958。这激励我们用完全监督的方法来获得类似的结果。弱监督方法也被用于深度学习中的许多任务。Kolenikov等人提出了种子扩展作为图像分割的深度学习技术(24)．这种方法只使用种子标签，减少了对大量人类标签的需求。与0.50的全监督方法相比，该方法的平均检测精度为0.47。仅利用全局级别标签的方法通常使用基于类激活映射(CAM)的方法(25，26)．然而，这些方法主要集中在二维图像上。

2.3.闭塞的分析

遮挡分析是指在输入被遮挡的地方观察模型输出的变化。这些变化可以用来构建热图，以确定感兴趣的区域。类似地，在深度学习中，扰动指的是操纵输入以从模型中提取信息或误导它们。Eykholt等人通过操纵通常用于引导自动驾驶汽车的物理对象强调了扰动的有效性(27)．例如，作者指出，在道路停车标志上添加黑色和白色的贴纸会导致模型错误地将它们归类为限速标志。因此，模型已经了解到黑色和白色条纹与限速标志有关。类似地，Szegedy C.等人表明，广义深度学习模型可以通过向输入图像添加几乎任何视觉扰动(如噪声)来误导(28)．这些工作强调使用摄动作为提取信息的方法。提出了局部可解释模型不可知解释(LIME)技术，利用局部摄动作为模型不可知方法提取分类模型感兴趣的区域(29)．它试图通过评估图像被扰动时模型的置信度来增加模型的可解释性。在此方法中，For$n$迭代时，将选择一组超像素，并对其进行扰动以评估其效果。然后将根据分类置信度的变化为每个超像素组分配一个分数。使用这些分数，训练二级分类模型来确定所选的超像素是否显著影响分类。由于其模型不可知的方法，该方法被应用于广泛的应用程序(30.- - - - - -32)．大多数应用程序都使用定性分析来评估其突出ROI的能力。随机输入解释抽样(RISE)进一步改进了这项工作，通过引入随机的全局掩蔽，通过去除局部超像素边界来计算分类的区域相关性(33)．RISE会产生$n$随机掩码来扰动模型，并根据分类置信度的变化为每个掩码分配分数。一旦所有$n$掩码相加，感兴趣的区域得分最高。这两种工作都表现出较高的适应性，因为它们是模型不可知的，可以很容易地用于任何预训练的模型。Yu L.等利用RISE生成阿尔茨海默病诊断模型的解释(34)．

2.4.Superpixels

超像素是一组感知上相似的像素，用于创建具有更少原始元素的有意义的图像。Ren和Malik在《学习用于分割的分类模型》中创造的术语旨在解决像素不是自然实体的问题，它们作为图像的表示是没有意义的(35)．超像素已被用于分割医学图像，因为它们捕捉到图像中类似的子区域，如肿瘤(36，37)．简单线性迭代聚类(38)，建议根据像素在图像中的颜色相似性和接近度对像素进行聚类，从而生成超级像素。使用由颜色、LAB或RGB以及x和y坐标组成的五维空间，作者建议使用距离测量来解释5D空间内的差异。然后，该算法将初始化给定图像中的聚类中心，并重复操作，直到所有聚类都根据距离测量获得最佳匹配像素。该方法实现了O(N)的复杂度，其中N是像素的数量。该方法以其高效、准确的分组表示得到了广泛的应用。

3.方法和材料

3.1.数据集

多模态脑肿瘤分割挑战2020数据集被用作我们的数据集(12- - - - - -15)．每位患者均可获得t1 -加权(T1w)、t1 -加权增强(T1wCE)、t2 -加权(T2w)和FLAIR序列的3D体积，以及肿瘤分割和类型(HGG或LGG)(图3.1)。数据集中有367个扫描，其中263个为HGG类，其余为LGG类。只有190个3D扫描(训练:133个，验证:19个，测试:38个)被随机选择，以保持60%的HGG和40%的LGG肿瘤比例来平衡训练课程。对每个序列分别进行最小-最大归一化，并对中心进行裁剪$128\times 128\times 128$卷。

3.2.方法

如图1，我们的方法主要由三个部分组成:

1.为给定的输入生成超像素映射。

2.遍历超像素，为预训练的CNN模型创建扰动输入。

3.测量每个扰动输入的训练CNN概率与原始图像的差值，生成关联图。

我们已经选择了3D Resnet 50 (39)模型作为我们的基线分类架构，以评估所提出的方法。我们选择Resnet 50，因为它代表了我们领域中常用的分类模型。模型在所有四个序列(T1w, T1wCE, T2w, FLAIR)上训练，其形状为$4\times 128\times 128\times 128$像素作为输入，学习率为0.01,Adam优化器(40)，使用二进制交叉熵作为损失函数。选择训练后的81 epoch模型进行评价，因为其验证AUC最高，为0.86。该模型在测试集上的ROC曲线下面积为0.83。

3.3.Superpixel分割

如图2，用于3D超像素生成，使用简单线性迭代聚类(SLIC) (38，41)．我们使用验证数据进行了网格搜索，作为实验的一部分，以确定用于生成超像素的序列类型和超像素数量的最佳参数。图3显示了超像素的数量和序列类型在选择感兴趣的区域时起关键作用。基于在肿瘤分割中获得的Sørensen-Dice系数评分和最佳超像素分组，我们选择了最佳性能阈值水平，选择了最佳参数集。我们在验证集上对超像素参数进行的网格搜索表明，在T2w序列上生成的100个超像素产生了最好的结果。

3.4.摄动

对输入的扰动应用于第一步生成的超像素图。作为基线，我们首先介绍了三种朴素扰动方法:

1.空白摄动，通过将其强度值替换为零来关闭给定超像素中的所有像素。

2.最大摄动将超像素的值设置为给定局部区域的最大值。

3.最小扰动将超像素的值设置为局部区域的最小值。

3.4.1.最优扰动

我们将最优扰动定义为训练模型上给定区域的最有效扰动。这是通过预训练模型分类输出的预测概率的变化来衡量的。也就是说，预训练模型分类输出的预测概率变化越大，摄动算法的影响就越大。为了确定给定3D超像素的最佳摄动，我们建议训练一个3D U-net模型(42)，其中单个3D超像素作为输入，通过优化扰动分类和非扰动分类之间的差异，该超像素的扰动掩模作为输出。

首先，在训练集上使用朴素摄动网格搜索，使用被认为是最佳的SLIC参数生成数据集。然后在T2w序列上生成所有超像素，初始超像素数为100。实验中，我们随机选取了6个MRI样本，其中3个来自LGG类，3个来自HGG类，用上述参数生成训练样本。经过SLIC迭代后，由于SLIC结合了相似度过高的超像素，导致训练集中总共有443个样本。每个样本都是$128\times 128\times 128\times 4$只包含所选超像素(图4)．

然后引入扰动损失，使扰动图像与原始图像的分类概率(由预训练的ResNet生成)之间的差异最大化。对于每一批，损失将通过在原始MRI上应用(乘以)生成的扰动掩码并使用预训练的ResNet生成分类来计算。然后我们计算扰动和非扰动预测之间的差异，以确定所产生的扰动的有效性。

在哪里$p$摄动,$np$non_perturbed,$y$是分类预测，和$n$是每批样品的数量。

最后，我们在Adam优化器上使用扰动损失在生成的数据集上训练一个3D U-net模型，学习率为0.01，持续25个epoch。选择最后一个时期进行实验。图5显示最佳摄动模型的输入/输出示例。

3.5.相关性的地图

最后，我们将相关性地图定义为图像的超像素分割地图，每个地图对预测分类的重要性都有一个相关的分数。通过计算预训练模型对扰动图像和非扰动图像的分类概率之间的绝对差异，为每个超像素分配一个改变模型对分类的置信度的能力分数，从而生成关联映射。然后在0到100之间对相关性地图进行归一化，其中得分为0的区域不影响分类，得分为100的区域对分类概率的影响最大。图6算法1显示可视化和相关图生成的伪代码。然后，我们可以使用排名系统仅通过选择给定的排名来生成细分。例如，我们可以结合与排名1和2相关联的超级像素来生成ROI分割。

3.6.评价

我们计算了平均骰子相似系数(DSC)与脑肿瘤的专家注释为所有定量评估。DSC得分为1表示预测ROI与专家ROI完全匹配，DSC得分为0表示没有重叠。

在哪里$|X|$表示预测的像素集，和$|Y|$表示专家注释像素集。

我们进行了以下评估:

1.用最佳超像素分组进行评估首先，我们通过生成具有最佳超像素分组的分割来评估生成的相关性地图。我们从最高到最低遍历超级像素，与专家注释进行比较时，找到给定图像的最佳分组。该评估通过消除聚类这一瓶颈来显示最高可达到的DSC，因为这项工作的重点不是超像素聚类，而是突出ROI提取能力。

2.排序相关性评价:其次，我们计算每个排名超像素的平均DSC，其中排名1表示具有最高值的超像素，对肿瘤的分类影响最大。排名超像素的选择独立于任何人类专家注释。这些被视为产生的分割掩码。

3.综合排名超像素的评价:我们评估了组合排名靠前的超级像素以生成更好的分割的有效性。对于每个相关性图，我们通过将顶级排名的组合作为单个分割掩码来计算DSC得分。例如，梳理第一、第二和第三位超级像素。这表明排名较低的超像素是否有助于肿瘤区域。当与排名靠前的结合时。排名超像素的选择独立于任何人类专家注释。

4.可靠性与验证损失的定性评价:为了确保相关性地图忠实于训练的信息，我们在训练时的每个纪元生成一个相关性地图，并将其与验证损失进行比较。我们期望一种忠实的方法来改变其在区域的置信度，类似于验证损失。它将学习到的知识显示在模型中，其中低置信度关联图将代表高验证损失，因为具有高验证损失的模型最有可能学习到不可泛化的信息。这个评估将给我们信心，以确保相关性映射是模型知识的实际表示。

5.比较Grad-CAM和LIME最后，我们将所提出的方法所实现的肿瘤分割与其他事后方法进行了比较。我们选择了Grad-CAM和LIME (29)以推广它们的广泛使用。对于Grad-CAM，我们已经为每个测试用例生成了可视化，并将其插入到$128\times 128\times 128$从$6\times 6\times 6$使用给定图像的最佳二值阈值来计算DSC。对于LIME，我们调整算法来处理3D输入，并使用SLIC (38)作为超像素生成方法。算法在测试集上运行，隐藏颜色参数设置为零，类似于我们的空白摄动，用于分类训练的样本数量设置为1000个。然后我们计算给定类的预测区域的DSC。

4.结果

4.1.采用最佳超像素分组的骰子相似系数

表1为不同摄动下的最佳超像素分组和朴素摄动下的超像素生成参数所得到的dsc。我们发现在T2w序列上生成100个超像素的Blank扰动(在平凡方法中)在朴素扰动中表现最好。

如表2，使用相同的超像素参数(T2W，$N＝\mathrm{One\; hundred.}$)作为之前研究中性能最好的平凡摄动方法，用我们所提出的最优摄动方法生成的关联映射实现了aDSC为0.45。

4.2.具有排序超像素的骰子相似系数

对于其余的评价，我们提出了最优摄动和空白摄动之间的比较，因为它在朴素摄动中达到了最高的DSC。表3显示了排序超像素的DSC，其中在T2w序列上生成的100个超像素的空白摄动超像素达到了0.25的平均DSC。最优扰动超像素的平均DCS为0.31。

4.3.骰子相似系数的组合排名超级像素

如表4，当组合前两个超像素时，该方法的平均DSC为0.34，而组合由空白扰动选择的超像素时，平均DSC降至0.22。所提出的最优扰动平均更好地选择包含肿瘤区域的二级超像素。

4.4.可靠性与验证损失的定性评估

如图7，相关性映射在目视检查时遵循与验证损失类似的模式。高损失值表明相关性图中有更多的可变性，而低损失值表明相关性图更集中。这忠实地解释了输入图像的学习特征，其中相关性的置信度也取决于验证损失。

4.5.比较Grad-CAM和LIME

与Grad-CAM和LIME方法相比，该方法在可视化质量和肿瘤定位能力方面优于Grad-CAM和LIME方法。如表5，在最好的阈值分割下，Grad-CAM的平均DSC达到了0.11，而我们的方法在最好的超像素分组下达到了0.45。类似地，LIME在测试集上的平均DSC为0.06。图8显示了与专家注释相比的Grad-CAM、LIME和相关性图的示例可视化。与其他两种方法相比，我们的相关性地图生成了更高的分辨率和更有意义的ROI可视化。

5.讨论

识别感兴趣的区域在模型的可解释性和改进中起着至关重要的作用。与常用的方法相比，我们使用所提出的相关图和最优摄动生成了高分辨率和精确的分割。与Grad-CAM相比，我们发现我们提出的方法在视觉解释和DSC评分方面有明显的改进。此外，我们的结果表明，即使是微小扰动方法也能在3D内侧图像中优于Grad-CAM。我们将梯度凸轮的失败归因于它无法在3D空间中产生高分辨率输出。因为原来的输出只是a$6\times 6\times$体积，它缺乏所需的信息，以产生有意义的分割或可视化时，插值$128\times 128\times 128$。

类似地，我们的方法优于LIME，尽管LIME遵循类似的扰动方法。它无法将一组合适的超像素分类到给定的分类中，并且经常将背景超像素分类为分类的贡献者。这种行为在DSC计算中被严重惩罚，对任何寻求洞察力的临床医生都没有任何好处。

我们的结果还表明，与普通方法相比，所提出的最优摄动方法可以确定更重要的超像素。如表2，使用最优摄动生成的关联图将检测实际的肿瘤区域，并将其排序为最显著性，而不是表现最好的普通摄动。同样，最佳扰动也选择了更多的肿瘤区域，排名第二。由于这一点，如图所示表3，我们可以通过结合第一和第二超像素来生成更高的DSC。

我们对忠实度与验证损失的定性评估突出了该方法表示学习知识的能力。我们发现，随着模型验证损失的降低，我们的关联图的置信度也降低。当我们的方法被用作解释时，我们认为这一点非常重要。特别是在临床环境中，我们的解释需要反映分类模型中的知识。强调低自信的能力让我们相信，可视化可以反映学习的兴趣区域。

6.结论

在这项工作中，我们提出了一种新的局部扰动方法，从仅用于分类MRI脑胶质瘤肿瘤的3D CNN中提取ROI(肿瘤)。我们还表明，我们提出的基于超像素的扰动掩码生成器(关联映射)方法也可以生成可视化映射，以显著提高黑盒3D分类模型的可解释性。

数据可用性声明

本研究分析了公共数据集。这些数据可以在这里找到:https://www.med.upenn.edu/cbica/brats2020/data.html。

道德声明

根据当地立法和机构要求，本研究不需要伦理审查和批准。根据国家立法和机构要求，本研究不需要参与书面知情同意。

作者的贡献

SR进行了实施和实验。FK构思了最初的想法并监督了该项目。SR和FK都写了手稿。所有作者都对这篇文章做出了贡献，并批准了提交的版本。

资金

本研究由华为技术加拿大有限公司支持。资助者没有参与研究设计、数据收集、分析、解释，也没有参与本文的撰写或提交发表的决定。

利益冲突

作者声明，这项研究是在没有任何商业或财务关系的情况下进行的，这些关系可能被解释为潜在的利益冲突。

出版商的注意

本文中所表达的所有主张仅代表作者，并不代表他们的附属组织，也不代表出版商、编辑和审稿人。任何可能在本文中评估的产品，或可能由其制造商提出的声明，都不得到出版商的保证或认可。

参考文献