肺部病变的多层次的数据集的属性和轮廓gydF4y2Ba

1。介绍gydF4y2Ba

肺癌是由肿瘤引起的导致发病率和死亡率增长最快的。它有一个重大负面影响健康的主题。因此,肺部病变的早期诊断肺癌的治疗具有重要意义。gydF4y2Ba

肺癌的早期形式分为肺结节,这是临床上使用计算机断层扫描(CT)检查。肺结节的CT图像的特点不同,导致在一个大的工作量为放射科医生诊断疾病和导致主观评价的功能。因此,准确和定量分析肺结节的外貌特征是非常重要的对医生确定结节是否会成长为恶性肿瘤。gydF4y2Ba

近年来,随着深度学习技术的发展(gydF4y2Ba1gydF4y2Ba),肺结节诊断在检测方面取得了前所未有的进步gydF4y2Ba2gydF4y2Ba- - - - - -gydF4y2Ba7gydF4y2Ba),分割(gydF4y2Ba8gydF4y2Ba- - - - - -gydF4y2Ba11gydF4y2Ba)、分类(gydF4y2Ba2gydF4y2Ba,gydF4y2Ba6gydF4y2Ba,gydF4y2Ba12gydF4y2Ba- - - - - -gydF4y2Ba15gydF4y2Ba),注册(gydF4y2Ba16gydF4y2Ba,gydF4y2Ba17gydF4y2Ba)任务。为了提高模型的性能,需要很大的大型数据集和肺部病变的准确的注释。gydF4y2Ba

有很多公开的数据集的肺结节。然而,在现有的数据集,有一些缺点和病变的多样性不能平衡在这些数据集。例如,LIDC / IDRI (gydF4y2Ba18gydF4y2Ba)有丰富的属性,但是,它只标志着结节,和其他肺部疾病的预测不能执行。gydF4y2Ba

在本文中,我们提出一个数据集的肺部病变,有助于肺的发展计算机辅助诊断系统。我们的数据集是全国范围,data-diversified和信息。该数据集丰富的病变类型,覆盖大部分的肺损伤的迹象。数据集的病变是由有经验的放射科医生用轮廓标记和属性注释使用专业工具。属性的注释是由九个属性为病理评估最有用。为了使所选属性层次,我们选择多层次属性:gydF4y2Ba

•gydF4y2Ba低级属性gydF4y2Ba:保证金,spiculation等等,基本上可以判断病变的地方特色;gydF4y2Ba

•gydF4y2Ba中层属性gydF4y2Ba:胸膜凹陷、船收敛等,这需要根据病变与周围组织的关系或腔和钙化,需要判断的局部特征和全局特性的损伤之间的关系;gydF4y2Ba

•gydF4y2Ba高级属性gydF4y2Ba:类型和病变的位置,这就需要以整个病变的抽象特征。gydF4y2Ba

为了清晰地描述提出的数据集,我们首先计算数据集的特点,定义了数据存储格式和数据集数据注释规则。然后,我们提出了轮廓注释格式。我们也关注病变的属性之间的相关性。为了研究多个属性之间的关系,我们计算的概率共有27种9不同属性使用卡方检验和条件概率,概率和推断的相关属性。gydF4y2Ba

为了说明数据集的实际意义,我们将讨论几个应用程序,可以研究使用数据集,然后选择属性分类的进一步研究。首先,我们模型的属性分类,然后探讨了性能2 d, 2.5 d和3 d输入模式对模型的准确性。通过实验,我们证明有隐含的多个属性之间的竞争,因此,我们使用两个注意力机制过滤不同功能激活不同的属性。我们的实验表明,注意机制对属性分类有不同的影响。gydF4y2Ba

2。相关工作gydF4y2Ba

在本节中,我们简要讨论现有的肺结节和相关数据集分类方法。gydF4y2Ba

2.1。肺结节的数据集gydF4y2Ba

2.1.1。LUNA16数据集gydF4y2Ba

LUNA16 (gydF4y2Ba4gydF4y2Ba)数据集设计开放的肺点头挑战,筛选888 CT LIDC卷从大型数据集数据/ IDRI挑战。片厚度在2.5毫米和结节大小大于3毫米,由超过3实验医生使用注释tow-phase注释。检测注释LUNA16使用中心坐标和结节的结节的内切圆直径。相反,我们使用重心坐标为中心坐标的结节直径和几何矩的时间越长,生成的世界坐标。为小圆形结节,这两个数据集没有多少不同,但需要的是检测大病灶不规则的形状和我们建议的方法会取得更好的结果,对于大型损伤检测。gydF4y2Ba

2.1.2。LIDC / IDRI数据集gydF4y2Ba

LIDC的/ IDRI (gydF4y2Ba18gydF4y2Ba)数据集标签每小结的轮廓和九个属性。除了良性和恶性结节,其他八个属性都是外观属性的结节。相反,在我们的数据集,两个属性是病变的基本属性,五是外观属性,和两个与周围组织病变在上下文的关系。这些属性是富有,可以更好地代表了病变。gydF4y2Ba

2.1.3。丽丝数据库gydF4y2Ba

丽丝(gydF4y2Ba19gydF4y2Ba)数据库有271个CT卷,其中包括677异常区域。这些异常区域分为九类,这被称为普通CT成像肺病(CISLs)的迹象。换句话说,只有一个CISLs标签为每个异常区域。虽然它可以更好地帮助医学学者学习某种类型的疾病(gydF4y2Ba12gydF4y2Ba),这对CAD系统开发不是很好,因为它不能捕捉疾病症状之间的关系。gydF4y2Ba

2.1.4。ILD数据库gydF4y2Ba

ILD (gydF4y2Ba20.gydF4y2Ba)数据库有108个形象系列1946多个roi。这个数据集是一个多媒体集例间质性肺病(ILDs)。这些roi分为13类,从组织学诊断的ILDs肺组织模式。ILD的病变数据集很大,和注释都是高级属性。数据集不专注于某一个结节,但在一片所呈现的病理组织。gydF4y2Ba

2.2。肺结节的分类gydF4y2Ba

肺结节的分类基于深度学习可以分为两种方法:一是判断肺结节的良恶性。一些方法直接预测良性和恶性结节的CT图像,以及其他方法使用不同的属性来判断结节的辅助基础良性和恶性结节,如(gydF4y2Ba21gydF4y2Ba- - - - - -gydF4y2Ba23gydF4y2Ba)。另一种方法分类的疾病,如DeepLung (gydF4y2Ba2gydF4y2Ba)或LISCs分类(gydF4y2Ba12gydF4y2Ba)。戴伊et al。(gydF4y2Ba21gydF4y2Ba)建立了一个网络产生多个输出从多尺度特性来判断结节的良恶性。Nibali et al。(gydF4y2Ba22gydF4y2Ba)取得了三列的配置融合来自三个轴的特性。歌等。gydF4y2Ba14gydF4y2Ba,gydF4y2Ba23gydF4y2Ba)提出的方法将整幅图像分成补丁和预测病变。相比之下,高et al。(gydF4y2Ba13gydF4y2Ba)使用分类的整体形象。随着计算的发展有效的电脑,等3 d模型(gydF4y2Ba24gydF4y2Ba)在结节分类取得了令人印象深刻的表现。他(gydF4y2Ba12gydF4y2Ba)提出了一种方法来生成图像数据,实现了良好的改善性能。朱镕基et al。(gydF4y2Ba2gydF4y2Ba)发现结节的位置,然后发送前结节喂养它修剪成分类模型预测的九个属性。gydF4y2Ba

多属性分类问题使用一个模型对多个目标进行分类。目前有两种方法来解决这个问题。首先是把它作为一个分类任务与固定数量的类别,并解决属性关联在一个模型通过使用多个分支分解多个目标在每个分支之间的关系。二是把它当作一个多标记分类任务,积极的属性标签的病变,然后每个病变都有一个浮动的标签的数量,并使用不同的标签是解耦的方法。在本文中,我们使用第一种方法分类模型中不同属性使用固定数量的分支,并使用两种注意力机制帮助解耦之间的相关性属性。gydF4y2Ba

3所示。肺损伤数据集gydF4y2Ba

在本节中,我们提供了一个数据集的描述。CT数据收集从四个医院。身体部位的检查主要是胸部和腹部。其中,胸部CT主要是薄(小于3毫米),和腹部CT主要是厚(大于或等于5毫米)。gydF4y2Ba图1gydF4y2Ba显示病变的例子在我们的数据集。所示gydF4y2Ba图1gydF4y2Ba,除了一些小结节,标有圈,如第一行第二图像,其他病变的轮廓非常密切。gydF4y2Ba

表1gydF4y2Ba显示了数据集的参数比较与其他几个公共数据集。LUNA16也一样,我们的数据集注释病灶轮廓,所示gydF4y2Ba图1gydF4y2Ba。盒子和多边形相比,轮廓注释更泛化能力不同的任务,如位置、检测和分割。同时,虽然在我们的数据集不是扫描的数量最大、病变注释的数量和在我们的数据集是病变的范围大小。这些注释支持更健壮的模型。此外,切片的厚度数据集的相对统一,特别是与卢娜16。它减少了不必要的处理数据,使它更容易使用。gydF4y2Ba

3.1。文件存储和注释格式gydF4y2Ba

从医院获得的原始数据包含一些敏感信息的主题,和从不同的医院收集的数据存储在不同的方式,使得数据难以直接使用进行分析。因此,我们首先降低受试者数据通过删除敏感信息,只保留必要的信息,如重量。然后,我们商店CT卷和注释文件如下所述。gydF4y2Ba

我们定义存储文件的目录结构如下:gydF4y2Ba

ct_type /医院/年/月/日/ subject_id / series_id。gydF4y2Ba

目录与series_id SE01存储CT数据和DICOM格式,和目录series_id SE01_01_0gydF4y2BangydF4y2Ba商店轮廓注释文件aid_loc .anno,gydF4y2BangydF4y2Ba的身份证号码是医生带注释的扫描;援助是CT的注释的数量对应的属性信息;loc在CT片数量体积,和DICOM文件中的描述SliceLocation (0020、1041)。一个伊斯兰教纪元文件代表了一个注释。每个伊斯兰教纪元文件有不同的援助,但两个伊斯兰教纪元文件可以有相同的地方,表明这两个注释是在同一块。它使用一个字典存储中的注释信息我们需要使用CAD的任务。伊斯兰教纪元的关键词格式SeriesID, NoduleSerialNumber, InstanceNumber,起源、尺寸、间距、坐标,XMin, XMax, YMin YMax。其中,SeriesID是一个独特的号码的DICOM体积描述为SeriesInstanceUID(0020年,000 e), NoduleSerialNumber InstanceNumber援助和loc,分别如上所述,起源、尺寸、间距是信息从DICOM体积,坐标是这个注释的轮廓坐标,其价值是相对于这片的大小。(XMin YMin) (XMax YMax)的坐标是左下角和右上角的角落这个注释的边界框。gydF4y2Ba

在我们的数据集包含病变CT卷,而那些没有病变已被移除RIS的手工筛选报告。等重复数字,两卷的一个主题,我们其中一个映射到一个新的主题数和保留通信恢复原来的号码。gydF4y2Ba

3.2。两阶段注释过程gydF4y2Ba

我们使用一个两阶段注释过程标签病变。我们的标签在第一阶段病变的轮廓,然后标签的属性在第二阶段病变。gydF4y2Ba

3.2.1之上。轮廓注释标准gydF4y2Ba

轮廓是由有经验的放射科医生。为了节省医生的时间和提高病变的密度,我们首先手动屏幕RIS报告,保留病变的CT体积的描述,并从数据集中删除没有病变的体积。为了规范标志着病变的过程中,我们有一个规则规定标记病变医生如下:gydF4y2Ba

•马克所有可见的病变;gydF4y2Ba

•如果病变太小,画出轮廓,圆的病变圆工具;gydF4y2Ba

•如果病变比一片大,标志着连续损伤每三片;gydF4y2Ba

•尽可能画出轮廓边缘的损伤。gydF4y2Ba

标记的过程后,我们进行二次筛选去除注释太处理不连续的轮廓。然后,我们把注释转换成庵野格式和马克病变数字。这样,轮廓注释和属性注释与各自的文件名。gydF4y2Ba

3.2.2。属性注释标准gydF4y2Ba

与医生讨论后,我们选择了9个属性通常用于临床诊断为数据集属性注释。将提供的详细描述这些属性在5.2节。每个病变独立标签由一个医生,我们记录医生的数量为每个病变,可用于确定医生如果发现一个错误的注释。gydF4y2Ba

为了简化属性的标签,我们实现一个属性标签工具来收集和管理标签。我们将的切片轮廓与病变数量,这样就方便标签属性与相应的部分。属性信息标记时,相应的主题数量和标签数量记录对应轮廓数量。应该注意的是,轮廓注释和属性注释不是一对一的匹配。一些有问题的轮廓在前面的步骤中,注释是过滤掉,不执行属性注释。最后,我们只有选择病灶轮廓和属性注释数据集。属性报告的数量gydF4y2Ba表1gydF4y2Ba。可以注意到,一些属性的类别是非常不平衡的。这带来了巨大的挑战,我们的属性分类算法的性能。gydF4y2Ba

4所示。属性和病理学gydF4y2Ba

我们最初选择15属性通常用于临床诊断,然后选择9属性数据集根据它们的重要性。这些属性的数量的类别不平衡和分布并不是独立的。这里我们简要描述这些属性在临床诊断的重要性,然后讨论属性之间的相关性从统计的观点。gydF4y2Ba

4.1。属性描述gydF4y2Ba

9中我们选择属性,除了基本属性、病变类型、病变位置,都有船收敛和胸膜凹陷代表病变和周围组织之间的关系。另一方面,保证金,钙化,分成小裂片,spiculation,腔代表的明显特征病变。这九个属性的重要性的描述如下。gydF4y2Ba

以下4.4.1。病变类型gydF4y2Ba

第一行的gydF4y2Ba图1gydF4y2Ba显示了六种不同的损伤类型。对于病变类型,我们选择gydF4y2Ba占位符,结节,磨砂玻璃透明度,包含空间的空气,突变gydF4y2Ba,gydF4y2Ba胸腔积液gydF4y2Ba。占位符的区别和结节病变结节直径小于30毫米,和超过30毫米的占位符。除了大小的差异,两种病变类型的其他属性大致相似。包含空间的空气腔的病理学是不同的。空气中含有空间(gydF4y2Ba图1gydF4y2Ba,第五个图片在第一行)是肺的病理生理腔增大,而蛀牙(gydF4y2Ba图1gydF4y2Ba在第三行),最后三个图像通常出现在结节或占位符。空气中含有空间病变,病变的墙壁厚度更均匀,主要发生在胸膜下区,大小千差万别。这意味着空气含有空间的位置是固定的,并且没有明显的属性,如spiculation分成小裂片。gydF4y2Ba

4.1.2。病变位置gydF4y2Ba

结节的位置是由五个类别的叶,包括gydF4y2Ba正确的上gydF4y2Ba叶,gydF4y2Ba正确的中间gydF4y2Ba叶,gydF4y2Ba对低gydF4y2Ba叶,gydF4y2Ba离开上gydF4y2Ba叶,gydF4y2Ba离开了下gydF4y2Ba叶。统计数据显示,病变的发生与位置的关系不大。病变位置只是一个病变的基本属性,它不能使用为基础来判断其病理性质。有些病变跨越多个肺大叶,所以他们标记为0,不包括在上述五类。gydF4y2Ba

4.1.3。保证金gydF4y2Ba

边缘属性描述是否结节的外边界是明确的。我们为这个属性定义了两个主要类别:gydF4y2Ba清晰的gydF4y2Ba和gydF4y2Ba不清楚gydF4y2Ba保证金。虽然一个良性的边缘质量通常是光滑的,而恶性质量常常不清楚,炎症也可能导致一个不清楚的占位符。因此,它不能作为唯一依据判断良性和恶性病变,,需要结合其他属性来评判。gydF4y2Ba

4.1.4。钙化gydF4y2Ba

钙化属性描述病变的密度明显高于其他软组织在纵隔窗口中,通常用CT值高于100。前三个图片的第三行gydF4y2Ba图1gydF4y2Ba显示病变钙化。图片中的白色区域代表钙化。钙化是一个病态变质病变,更常见于导管肺结核的治疗阶段病变在肺组织或淋巴结;钙化也可以发生在肿瘤组织或囊肿。通常,病变钙化的比例越大,它是良性的可能性就越大。在此基础上,我们分类钙化属性分为三个类别:gydF4y2Ba不,偏gydF4y2Ba,gydF4y2Ba总gydF4y2Ba钙化。gydF4y2Ba

4.1.5。分成小裂片gydF4y2Ba

分成小裂片属性表明,结节或大规模种植在不同的速度在不同的方向或被周围的结构。弧形突起的轮廓可以多元化,削减和弯曲阶段凹形成分成小叶的形状。最后三张图片在第二排gydF4y2Ba图1gydF4y2Ba显示分成小裂片的病变。我们可以清楚地看到凸的部分群众。我们只是为这个属性定义两类:gydF4y2Ba与gydF4y2Ba和gydF4y2Ba没有gydF4y2Ba分成小裂片。gydF4y2Ba

4.1.6。SpiculationgydF4y2Ba

spiculation属性具有径向、无支链的,直,和强大的细线阴影从结节的边缘延伸至边缘,和近端略厚的影子。前三个图片在第二排gydF4y2Ba图1gydF4y2Ba展示spiculation的病变。所示gydF4y2Ba图1gydF4y2Ba毛边的病变往往不环绕在注释的范围。spiculation不是连接到胸膜,不同于胸膜萧条。我们spiculation属性进行分类gydF4y2Ba不,短gydF4y2Ba和gydF4y2Ba长gydF4y2Baspiculation;5毫米毛边称为短spiculation,大于5毫米毛刺被称为长spiculation。毛刺的病理基础是肿瘤细胞渗透的纤维带邻支气管鞘和地方淋巴管,或肿瘤促进结缔组织的形成。良性结节性炎性假瘤,结核瘤也可以看到毛边,但更长,更柔和、更经常由增生的纤维结缔组织。肺癌的可能性应该考虑当有毛刺单独肺结节。gydF4y2Ba

4.1.7。腔gydF4y2Ba

癌腔大多位于前段上部叶和下叶基底的部分。大多数腔直径大于3厘米的肿瘤。大多数癌腔不规则或分叶外缘和不规则的内在优势。那些墙比4毫米薄大多是良性病变,和那些比15毫米厚主要是恶性病变。最后三个图像在第三排gydF4y2Ba图1gydF4y2Ba显示的病变腔。我们仅仅定义了该属性两类:gydF4y2Ba与gydF4y2Ba和gydF4y2Ba没有gydF4y2Ba腔。gydF4y2Ba

4.1.8。船收敛gydF4y2Ba

船收敛属性出现在片作为一个或多个血管周围接触的肺结节,削减或通过占位符的边缘。船的外观融合与占位符的大小或结节。病变直径小于1厘米有更少的船收敛的迹象。在最后一行的前三个图像gydF4y2Ba图1gydF4y2Ba收敛显示血管的病变。蛀牙和船舶的图像融合是相似的,因为血管蛀牙交易时的样子。multi-vessel-directed病灶呈现船趋同,从而导致更高的恶性肿瘤的机会。尤其是现象,血管会导致一个结节或肿瘤不仅是在恶性结节,而且在良性病变,如肺结核、炎性假瘤,或错构瘤。我们仅仅定义了该属性两类:gydF4y2Ba与gydF4y2Ba和gydF4y2Ba没有gydF4y2Ba船收敛。gydF4y2Ba

4.1.9。胸膜凹陷gydF4y2Ba

典型的胸膜缩进显示了一个小三角的影子或一个小喇叭在内脏肺胸膜表面的影子。三角形的底部在胸壁的内部,尖点结节,结节和三角形的影子可以通过一个线性连接的影子。最后三个图片的最后一行gydF4y2Ba图1gydF4y2Ba显示胸膜病变的缩进。周边病变胸膜凹陷往往伴随着其他的成像信号。胸膜凹陷的病理基础和成像表现在良性和恶性病变是不同的。我们只是为这个属性定义两类:gydF4y2Ba与gydF4y2Ba和gydF4y2Ba没有gydF4y2Ba胸膜缩进。gydF4y2Ba

4.2。属性之间的相关性gydF4y2Ba

为了评估属性之间的相关性,我们使用了卡方检验。我们假设如果两个属性是相互独立的,他们的数据分布应该不会影响对方,这意味着之间的比例关系类别的一个属性是相同的在每个类别下的其他属性。如果卡方检验值计算的两个属性大于统计意义,有两个属性之间的相关性。卡方检验统计量的近似计算公式如下:gydF4y2Ba

在哪里gydF4y2BafgydF4y2Ba_0gydF4y2Ba是实际的观察和数量吗gydF4y2BafgydF4y2Ba_egydF4y2Ba是预期的次数。更大的价值gydF4y2BafgydF4y2Ba_egydF4y2Ba方程(1)大约遵守卡方分布。简化计算卡方测试中,我们使用一个变量的方程(1):gydF4y2Ba

在哪里gydF4y2BafgydF4y2Ba_xgydF4y2Ba和gydF4y2BafgydF4y2Ba_ygydF4y2Ba代表了两种不同属性的类别的样本数量gydF4y2BaxgydF4y2Ba和gydF4y2BaygydF4y2Ba分别gydF4y2BaRgydF4y2Ba和gydF4y2BaCgydF4y2Ba类别的数量吗gydF4y2BafgydF4y2Ba_xgydF4y2Ba和gydF4y2BafgydF4y2Ba_ygydF4y2Ba和属性的总数gydF4y2BaNgydF4y2Ba。自由的程度gydF4y2BadfgydF4y2Ba独立的测试计算如下:gydF4y2Ba

我们使用数据所示gydF4y2Ba表2gydF4y2Ba计算并选择0.05的显著性水平。gydF4y2Ba图2一个gydF4y2Ba卡方检验的结果。结果显示,三个属性之间存在很强的相关性,投机,分成小裂片。同时,船舶收敛性和spiculation之间有很强的相关性,保证金,分成小裂片和病变类型、胸膜凹陷,边缘。gydF4y2Ba

进一步探索的特定属性的不同类别之间的关系,我们计算条件概率之间的共有27个类别属性。方程计算条件概率如下:gydF4y2Ba

在哪里gydF4y2BaPgydF4y2Ba(gydF4y2BaXgydF4y2Ba),gydF4y2BaPgydF4y2Ba(gydF4y2BaYgydF4y2Ba代表两个类别的概率gydF4y2BaXgydF4y2Ba和gydF4y2BaYgydF4y2Ba,gydF4y2BaPgydF4y2Ba(gydF4y2BaXgydF4y2Ba|gydF4y2BaYgydF4y2Ba)代表的概率gydF4y2BaXgydF4y2Ba发生的时候gydF4y2BaYgydF4y2Ba是现在,gydF4y2BaPgydF4y2Ba(gydF4y2BaXYgydF4y2Ba)代表同现的概率gydF4y2BaXgydF4y2Ba和gydF4y2BaYgydF4y2Ba。的价值gydF4y2BaPgydF4y2Ba(gydF4y2BaXgydF4y2Ba|gydF4y2BaXgydF4y2Ba)是1,这是由白色的颜色gydF4y2Ba图2 bgydF4y2Ba。我们计算条件概率之间的两类。所示gydF4y2Ba图2 bgydF4y2Ba,白色的颜色代表一个的概率1和0的黑色代表一个概率,而轻灰色代表更高的条件概率值。gydF4y2Ba

根据统计结果,不同损伤类型之间有很强的相关性和其他属性。占位符,他们的利润几乎是不清楚,分成小裂片的程度更明显,spiculation的程度和胸膜凹陷的程度是最高的在其他病变类型。磨砂玻璃,结节和突变类别有少量spiculation和分成小裂片,船舶和更多的功能融合和胸膜凹陷。腔和胸腔积液,他们几乎没有其他属性和他们的利润都是清晰的。gydF4y2Ba

分成小裂片的边缘属性是高度相关的,船收敛和胸膜凹陷。当船收敛和胸膜凹陷存在,他们往往伴随着分成小裂片,边缘不是很清楚。集中在结节钙化属性,腔也与保证金和分成小裂片。gydF4y2Ba

5。任务的数据集gydF4y2Ba

数据集数据和丰富多样的注释,这意味着我们的数据集可以使用几个任务和帮助CAD系统的开发。我们建议使用以下任务的数据集:gydF4y2Ba

(1)gydF4y2Ba检测gydF4y2Ba:一些病变的数据小于30毫米,近圆和适合肺结节检测。这可以有助于肺癌的早期诊断。gydF4y2Ba

(2)gydF4y2Ba分割gydF4y2Ba:病变大于30 mm都标有精确的轮廓。这些病变更复杂的形状和适合肺部病灶分割任务。这可能有利于体积测量和进一步治疗。gydF4y2Ba

(3)gydF4y2Ba分类gydF4y2Ba:病变的多个属性适用于多任务肺部疾病的预测。这可以帮助法官良性和恶性肿瘤。gydF4y2Ba

(4)gydF4y2Ba重建gydF4y2Ba:目前,医疗数据集很小,它们的大小是学习不够深。我们的数据集有各种类型的数据,我们可以使用真实的数据来训练生成对抗网络生成合成数据。gydF4y2Ba

在本文中,我们专注于探索之间的关系属性。因此,我们进行多属性分类和报告我们在第六节实验结果。gydF4y2Ba

5.1。2 d, 2.5 d、3 d模式分类gydF4y2Ba

为了研究模型的输入模式的重要性,我们使用不同的数据维度为相同的数据和模型分类实验。gydF4y2Ba

我们使用三种输入模式包括2 d, 2.5 d,和3 d。假设CT体积的大小gydF4y2BaHgydF4y2Ba×gydF4y2BaWgydF4y2Ba×gydF4y2BaCgydF4y2Ba对应于三轴x y z,病变的直径gydF4y2BadgydF4y2Ba三种输入模式表示如下:gydF4y2Ba

5.1.1。2 d模式gydF4y2Ba

病变是削减从灰度级片,它位于长度gydF4y2BadgydF4y2Ba边,喂2 d网络预测。输入的大小是gydF4y2BadgydF4y2Ba×gydF4y2BadgydF4y2Ba×1。2 d输入模式可以保留病变在x - y方向的空间结构,但在Z方向上下文信息不能被捕获。gydF4y2Ba

5.1.2中。2.5 d模式gydF4y2Ba

病变和五个图像的灰度图像上方和下方由边界框剪,和美联储的2 d网络预测。输入通道的数量是5,输入大小gydF4y2BadgydF4y2Ba×gydF4y2BadgydF4y2Ba×5。2 d输入模式,相比2.5 d输入模式辅以固定数量的切片在Z方向。gydF4y2Ba

5.1.3。三维模式gydF4y2Ba

x y z方向的病变的位置、边界框(gydF4y2BadgydF4y2Ba×gydF4y2BadgydF4y2Ba×gydF4y2BadgydF4y2Ba)是剪裁和美联储的3 d网络预测。3 d网络可以捕获整个病变的相关性在z轴卷积。与2 d相比,2.5 d是更详细的信息,但3 d网络参数的数量是多的2 d网络,它可以导致深度学习模型overfit作为训练数据的规模很小。gydF4y2Ba

我们的基本模型的体系结构所示gydF4y2Ba图3gydF4y2Ba。为了提取9个属性的关系,我们使用一个ResNet-based网络(gydF4y2Ba25gydF4y2Ba)提取结节的特征,然后使用九个独立分支预测9属性分类。我们将解释6.1节的细节和结果。gydF4y2Ba

5.2。两个注意机制gydF4y2Ba

通过实验,我们发现有一个隐式培训期间多个属性之间的竞争。在训练阶段,当损失值是稳定的,一些属性增加的准确性而其他属性的准确性降低。为了解决这个问题,我们添加一个关注模块的每个属性分类器激活关注分类的功能,这是有用的。通过这种方式,不同的输入特征属性的提取,从而减轻属性之间的冲突。灵感来自于(gydF4y2Ba26gydF4y2Ba- - - - - -gydF4y2Ba28gydF4y2Ba),我们使用soft-attention self-attention,常用的机制,计算权重矩阵用于过滤噪音和专注于重要的功能。下面将描述这两个注意机制在我们的模型中,和gydF4y2Ba图4gydF4y2Ba显示了两个关注模块的结构。gydF4y2Ba

5.2.1。Soft-Attention模块gydF4y2Ba

所示gydF4y2Ba图4一gydF4y2Ba,我们添加一个soft-attention模块(gydF4y2Ba26gydF4y2Ba之前喂到分类器过滤浅的特性和更深层次的功能特性。同时保留空间结构,关注模块提取一个面具的特性来抑制噪声不相关属性来提高精度。gydF4y2Ba

假设功能图gydF4y2Ba$\mathrm{xgydF4y2Ba}\in gydF4y2Ba{\mathrm{ℝgydF4y2Ba}}^{\mathrm{NgydF4y2Ba}\times gydF4y2Ba{\mathrm{CgydF4y2Ba}}_{\mathrm{xgydF4y2Ba}}\times gydF4y2Ba\mathrm{HgydF4y2Ba}\times gydF4y2Ba\mathrm{WgydF4y2Ba}}$从基本模型的输入特性关注模型,和特征映射gydF4y2Ba${\mathrm{xgydF4y2Ba}}_{\mathrm{ggydF4y2Ba}}\in gydF4y2Ba{\mathrm{ℝgydF4y2Ba}}^{\mathrm{NgydF4y2Ba}\times gydF4y2Ba{\mathrm{CgydF4y2Ba}}_{\mathrm{ggydF4y2Ba}}\times gydF4y2Ba\mathrm{HgydF4y2Ba}\times gydF4y2Ba\mathrm{WgydF4y2Ba}}$从更深一层的门,我们首先使用1×1卷积层相同数量的渠道吗gydF4y2BaCgydF4y2Ba_ggydF4y2Ba的特性,然后和特性gydF4y2BaxgydF4y2Ba和gydF4y2BaxgydF4y2Ba_ggydF4y2Ba在一起,并添加一个非线性变换ReLU可以制定为σgydF4y2Ba_1gydF4y2Ba(gydF4y2BaxgydF4y2Ba)=gydF4y2Ba马克斯gydF4y2Ba(0,gydF4y2BaxgydF4y2Ba)。到目前为止,这个功能gydF4y2BaxgydF4y2Ba和更丰富的语义信息吗gydF4y2BaxgydF4y2Ba_ggydF4y2Ba,我们用1×1卷积层熔丝通道信息和保留空间信息,并得到一个面具gydF4y2BaxgydF4y2Ba_米gydF4y2Ba的价值[0,1]通过s形的函数可以作为制定gydF4y2Ba${\mathrm{\sigma gydF4y2Ba}}_{\mathrm{2gydF4y2Ba}}(gydF4y2Ba\mathrm{xgydF4y2Ba})gydF4y2Ba=gydF4y2Ba{(gydF4y2Ba\mathrm{1gydF4y2Ba}+gydF4y2Ba{\mathrm{egydF4y2Ba}}^{-\; -\; -\; -\; -\; -gydF4y2Ba\mathrm{xgydF4y2Ba}})gydF4y2Ba}^{-\; -\; -\; -\; -\; -gydF4y2Ba\mathrm{1gydF4y2Ba}}$。最后,我们使用的面具gydF4y2BaxgydF4y2Ba_米gydF4y2Baspatial-wise调整功能映射gydF4y2BaxgydF4y2Ba得到的输出特性gydF4y2Ba$\stackrel{^gydF4y2Ba}{\mathrm{xgydF4y2Ba}}$。soft-attention模块,过滤后的特性gydF4y2Ba$\stackrel{^gydF4y2Ba}{\mathrm{xgydF4y2Ba}}$以此高维语义信息在空间维度,哪个更有利于多属性分类。gydF4y2Ba

5.2.2。Self-Attention模块gydF4y2Ba

所示gydF4y2Ba图4 bgydF4y2Ba,我们添加一个self-attention模块(gydF4y2Ba27gydF4y2Ba,gydF4y2Ba28gydF4y2Ba分类器的特性和美联储前挤的空间结构与空间信息特征映射到一个向量。然后,我们收集和过滤信息提高激活相关属性,并将信息添加到原始特征映射到增强特性。gydF4y2Ba

假设功能图gydF4y2Ba$\mathrm{xgydF4y2Ba}\in gydF4y2Ba{\mathrm{ℝgydF4y2Ba}}^{\mathrm{NgydF4y2Ba}\times gydF4y2Ba{\mathrm{CgydF4y2Ba}}_{\mathrm{xgydF4y2Ba}}\times gydF4y2Ba\mathrm{HgydF4y2Ba}\times gydF4y2Ba\mathrm{WgydF4y2Ba}}$从基本模型生成的输入特性关注模型,我们使用一个通道挤压和空间激发部门转变gydF4y2BaxgydF4y2Ba提取空间信息和调整原点gydF4y2BaxgydF4y2Ba的变换本身。我们使用一个全局池可以挤压gydF4y2BaxgydF4y2Ba一个向量gydF4y2Ba$\mathrm{zgydF4y2Ba}\in gydF4y2Ba{\mathrm{ℝgydF4y2Ba}}^{\mathrm{NgydF4y2Ba}\times gydF4y2Ba{\mathrm{CgydF4y2Ba}}_{\mathrm{xgydF4y2Ba}}\times gydF4y2Ba\mathrm{1gydF4y2Ba}\times gydF4y2Ba\mathrm{1gydF4y2Ba}}$。然后使用两个完全连接层变换向量gydF4y2BazgydF4y2Baẑ=gydF4y2BaWgydF4y2Ba_1gydF4y2Ba(σgydF4y2Ba_1gydF4y2Ba(gydF4y2BaWgydF4y2Ba_2gydF4y2Ba·gydF4y2BazgydF4y2Ba))gydF4y2Ba${\mathrm{WgydF4y2Ba}}_{\mathrm{1gydF4y2Ba}}\in gydF4y2Ba{\mathrm{ℝgydF4y2Ba}}^{\mathrm{CgydF4y2Ba}\times gydF4y2Ba\mathrm{CgydF4y2Ba}/gydF4y2Ba\mathrm{16gydF4y2Ba}}$和gydF4y2Ba${\mathrm{WgydF4y2Ba}}_{\mathrm{2gydF4y2Ba}}\in gydF4y2Ba{\mathrm{ℝgydF4y2Ba}}^{\mathrm{CgydF4y2Ba}/gydF4y2Ba\mathrm{16gydF4y2Ba}\times gydF4y2Ba\mathrm{CgydF4y2Ba}}$和激活σgydF4y2Ba_1gydF4y2Ba。我们还用σ的非线性函数gydF4y2Ba_2gydF4y2Ba将值[0,1]通道面具gydF4y2BaxgydF4y2Ba_米gydF4y2Ba。最后,我们使用gydF4y2BaxgydF4y2Ba_米gydF4y2Bachannel-wise调整功能映射gydF4y2BaxgydF4y2Ba得到的输出特性gydF4y2Ba$\stackrel{^gydF4y2Ba}{\mathrm{xgydF4y2Ba}}$。self-attention模块,过滤后的特性gydF4y2Ba$\stackrel{^gydF4y2Ba}{\mathrm{xgydF4y2Ba}}$以此信息在空间维度的紧缩和激发后,哪个更有利于多属性分类。gydF4y2Ba

6。实验结果gydF4y2Ba

在本节中,我们首先确认该模型可以学习之间的关系属性,然后根据经验选择最好的输入模式,并验证注意力机制在这个输入模式。gydF4y2Ba

我们使用的部分数据与1.0 - -2.0毫米的厚度在我们的实验中,拥有355 CT卷和2014病变贴上9属性数据集。数据集被分成的宣告为训练集和验证集,在训练集和163年1847病变损伤的验证集。训练期间,我们随机选择为数据增加即30%的数据。、随机翻转和旋转。作为gydF4y2Ba表2gydF4y2Ba显示,数据集的类别数量不平衡,这可能会影响模型的收敛性。我们使用加权交叉熵损失减少数据不平衡在训练阶段的影响。gydF4y2Ba

在实验中,每个模型都有四个街区。第一个是一个回旋的块和其他三个残块。的模型中,有9个分类器块九的分类属性,分别。我们使用再加权物流损失资产类别的数量。在训练阶段,我们设置了学习速率和热重启(0.01gydF4y2Ba29日gydF4y2Ba)并使用SGD优化模型。动量是设置为0.09,重量衰变设置为10gydF4y2Ba^{−4gydF4y2Ba}批处理大小设置为64。自模型收敛快,我们已经培训了200名时代为每个模型和选择模型与验证损失最小的最佳模型。gydF4y2Ba

不平衡数据的原因,没有有效的特性是可以习得的,和结果的低灵敏度模型这个属性。所示gydF4y2Ba表3gydF4y2Ba,gydF4y2Ba4gydF4y2Ba类别样本太少,如gydF4y2Ba部分钙化gydF4y2Ba和gydF4y2Ba与空腔gydF4y2Ba没有被。给定类别预测可能有以下四个案例:TP,真阳性;FP,假阳性;TN,真阴性;FN,假阴性。gydF4y2Ba

评估每个属性的类别不平衡,我们使用三个指标得分结果。gydF4y2Ba精度gydF4y2Ba(ACC)是基本指标评估结果,可以计算为:gydF4y2Ba

灵敏度gydF4y2Ba(SE),也被称为真正的积极率,意味着病人诊断为正的概率,可以计算为:gydF4y2Ba

SE值越大,更敏感的模型在诊断这一类。gydF4y2Ba

特异性gydF4y2Ba(SP),也称为真阴性率,意味着一个人的概率是不生病是诊断为负数,可以计算为:gydF4y2Ba

SP的价值越大,我们模型更准确诊断这一类。gydF4y2Ba

我们平均精度的所有类别为每个属性,和平均分数的所有属性作为最终分数来表示模型的性能。gydF4y2Ba

6.1。结果输入模式gydF4y2Ba

为了选择最合适的输入模式肺部病变的属性分类,我们训练2 d, 2.5 d和3 d模型中描述的相同的结构gydF4y2Ba图3gydF4y2Ba。确保公平的三个模型,我们不调整hyper-parameters为不同的模式。每个模型训练200时代和批处理大小为64。评估模型的性能,我们选择最低的模型验证的平均精度损失度量。2.5的平均精度分数3 d, d, 2 d模型0.7513,0.7511,和0.7816;平均灵敏度0.7671、0.7006和0.7184;和平均特异性0.8305、0.7995和0.8116,分别。作为gydF4y2Ba图5gydF4y2Ba所示,三种模式几乎相同的分数在病变类型和保证金,并与2 d模型spiculation模式有更好的成绩,分成小裂片,船收敛和胸膜凹陷。gydF4y2Ba表3gydF4y2Ba显示的准确性、敏感性和特异性的每个类别为每个属性。从实验结果中,我们注意到,更高级别的属性,如病变类型和病变的位置、更敏感的3 d模式和低级属性,如spiculation分成小裂片,2 d模式更敏感。gydF4y2Ba

在培训期间,我们注意到3 d模型参数超过2 d模型,导致较长的训练时间和收敛慢。与此同时,2 d模型具有更好的平均比3 d模型的准确性。所以,我们选择了2 d模式如下实验的基本模型。gydF4y2Ba

6.2。结果注意力机制gydF4y2Ba

为了提高性能的基本模型,我们使用两种注意力机制来提高分类器的功能之前喂养它。我们叫soft-attention模块的模型gydF4y2BaSoft-AttgydF4y2Ba,该模型self-attention模块gydF4y2BaSelf-AttgydF4y2Ba。因为两个关注模块的参数的数量不大,我们使用相同的hyper-parameters训练两个模型为基本模型。类似于前一节中,我们使用一个批处理大小为64和200时代的训练和模型的精度验证最低的损失为指标。精度平均分数的基本模型,Soft-Att和Self-Att是0.7816,0.8032,和0.7763;平均敏感性是0.7184、0.7183和0.7155;和特异性的平均是0.8116、0.8117和0.8128,分别。gydF4y2Ba

作为gydF4y2Ba图6gydF4y2Ba所示,soft-attention模块边缘具有更好的结果,船收敛,损伤类型,和spiculation属性,和self-attention模块更好的结果分成小裂片,胸膜凹陷,病变位置属性。由于接近于零的钙化和腔属性的敏感性,我们不考虑其准确性比较。在报道gydF4y2Ba表4gydF4y2Ba,注意模块的两个模型有更好的性能比基本模型。gydF4y2Ba

的热图gydF4y2Ba图7gydF4y2Ba可视化的注意机制。与基本模型相比,红色soft-attention集中在某一时刻的价值。这是因为soft-attention使用更高级别的语义信息来过滤低层特征,使空间更顺利,更集中的特性。高级属性的这是一个很好的特性,因为它是集中在最能体现属性,但它并不完全反映本地信息的关系。与基本模型相比,红色的价值self-attention更分散的空间维度。这是因为self-attention提取通道信息压缩空间信息使用自己的特性,这是由于多通道融合空间信息更全面。这是一个很好的功能低级属性因为其本地信息关系更空间雅致,但由于噪声的空间维度,它可能不是适合高级属性。gydF4y2Ba

7所示。结论gydF4y2Ba

本文提出了数据集的肺部病变细轮廓注释和属性,探讨了数据集的属性之间的相关性。演示的贡献这个数据集CAD系统的开发,探讨两个问题的医疗数据建模使用属性分类任务。gydF4y2Ba

的一个问题是2 d的效果,2.5 d、3 d输入模式分类模型。2 d模式适用于低级属性不需要本地信息病变与周围组织之间的关系,而3 d模式更好的适用于高层属性要求更高的上下文关系。2.5 d模式之间的一种折衷的轻量级的二维模型和三维模型的上下文信息。gydF4y2Ba

第二个是两个关注的影响机制模型。Soft-attention可以更好地处理噪声在空间维度和集中的特性,这对高层属性的分类是有益的。Self-attention可以更好地整合渠道维度的空间信息,在空间维度和补充当地关系,这对低级属性的分类是有益的。gydF4y2Ba

在未来,我们主要是想探索和解决以下三个问题:gydF4y2Ba

1。腔的三个类别,部分钙化,和长spiculation灵敏度几乎是零,因为高度的类别不平衡。我们将探索新方法来改善这三个分类的准确性。gydF4y2Ba

2。我们将使用属性之间的相关性建立损失函数适用于多属性分类的统计学习策略。gydF4y2Ba

3所示。没有一个单一的指标可以衡量一个多属性模型的性能。我们将为多个任务建模构建评价指标。gydF4y2Ba

数据可用性声明gydF4y2Ba

最初的贡献提出了研究中都包含在这篇文章/补充材料,进一步调查可以直接到通讯作者/ s。gydF4y2Ba

作者的贡献gydF4y2Ba

所有作者列出了一大笔,直接和知识贡献的工作,批准发布。gydF4y2Ba

资金gydF4y2Ba

这项工作是由上海市科学技术委员会(18411952100)。gydF4y2Ba

的利益冲突gydF4y2Ba

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。gydF4y2Ba

确认gydF4y2Ba

作者要感谢所有的贡献者肺部病变的多层次的数据集的属性和轮廓。gydF4y2Ba

引用gydF4y2Ba