自适应图像引导Neuronavigation沉浸式系统基于物理非刚性配准

介绍

脑恶性神经胶质瘤是最常见的原发性和转移性肿瘤,占22500 ~ 70%的新病例原发性脑肿瘤诊断成年人每年在美国(1,2)。治疗通常包括手术切除放疗或化疗。肿瘤切除提供了一个组织诊断、减轻质量效应,和颅内压力可能引起疼痛或其他神经系统症状,并改善预后。然而,总计切除难以实现,因为神经胶质瘤的渗透性的性质,因为脑部肿瘤通常是嵌入在脑组织功能至关重要。肿瘤结果显然取决于肿瘤切除的程度,然而功能保护的生活质量和生存的关键,因此肿瘤手术是一个微妙的平衡消除尽可能多的肿瘤和保留重要功能的大脑区域(3- - - - - -5)。

在过去的二十年里,图像引导治疗的发展6)允许外科医生使用术前成像和neuronavigation促进最大安全切除雄辩的大脑区域的神经胶质瘤。术前解剖磁共振成像(MRI)可以结合功能磁共振成像(fMRI)在地图上标出的大脑区域附近的肿瘤涉及重要功能如视觉、言语和语言,或运动控制(7- - - - - -12)。扩散张量成像(DTI)可以用来在地图上标出白质束连接到这些重要区域和运行接近或通过肿瘤(13- - - - - -19)。

跟踪的位置在手术过程中病人的大脑是可能的医疗工具neuronavigation使用登记病人术前图像数据的坐标。然后医生可以查看工具的位置相对于术前解剖和功能图像数据,从而避免损伤雄辩的地区在肿瘤切除术(20.- - - - - -28)。商业neuronavigation系统(例如,由美敦力公司和隐形VectorVision BrainLAB)通常使用一个刚性变换病人术前图像数据映射到坐标。严格登记时足够的刚性之间的映射对象(例如,头骨之间术前图像数据和病人在手术室的头骨)。然而,手术期间,大脑变形由于脑脊液漏等几个因素,intra-cranial压力,重力,渗透性利尿剂,管理和过程本身(例如,肿瘤切除和撤销)(17,29日,30.)。一个刚性变换不会准确的术前图像数据映射到病人的大脑在手术过程中,特别是随着切除,最大的不确定性手术的最关键部分(图1)。

采用术中MRI(是)提供了一个手段监视大脑在手术过程中变形(31日)。医院提供的数量是在过去十年中已经从少数研究中心两个世界各地的数百个临床基地(32)。目前,访问是受到高成本,人员需求,有效的工作流程的中断。一些研究人员正在调查方法,结合其他成像技术,如3 d超声(33- - - - - -36)和表面成像技术结合变形模型(37- - - - - -39),以弥补大脑变形。然而,是大脑仍然是黄金标准测量术中监测变形和肿瘤切除。

给定一个病人术中解剖MRI图像注册坐标,术前功能磁共振成像和DTI图像数据可以映射到术中图像,然后病人坐标为外科医生提供更新的指导。这种映射通常是由首先注册功能磁共振成像和DTI图像术前MRI解剖使用刚性变换,然后注册术前MRI解剖术中MRI图像,这是预注册病人坐标。因为大脑的变形手术期间,注册从术前、术中MRI需要一个非刚性的登记。DTI和功能磁共振成像变形与PBNRR一样(20.)。

有几种方法估算两个或两个以上的图像之间的非刚性的登记,在先前的研究中(40- - - - - -44)。从使用位移与样条插值控制点登记质量弹簧模型的解剖标志力向量,基于物理有限元模型,大脑之间的许多技术已经应用于非刚性配准的数据集,对大脑映射(45- - - - - -47)和脑转移建模(20.,21,24,25,37- - - - - -39,48- - - - - -54)。然而,大多数这些方法没有设计模型的组织收缩或切除。(PBNRR)已经证明,基于物理非刚性配准精确捕捉大脑转变(即。大脑的体积变形)在图像引导神经外科(21),它不能准确地融合与术前MRI是例肿瘤切除。在本文中,我们评估的准确性和性能(A-PBNRR)自适应基于物理非刚性配准方法建模大脑变形的肿瘤切除。神经胶质瘤病例30日一项研究的结果提出了从两个不同的医院,其中许多涉及到一个有意义的肿瘤体积切除,定义为切除的程度(采油)≥70% (55)。大部分的神经胶质瘤切除术还包括一个三次采油≥78 - 80%,这被认为是一个重要的预测总生存期(OS) (56,57)。A-PBNRR定性和定量的结果与其他三个开源注册方法的结果相比,现成的研究者和临床医生(58,59)。竣工验收在临床实践中要求非刚性配准的时间限制由神经外科(例如,2 - 3分钟),没有高性能计算集群的成本(20.)。因此,处理速度上比较容易获得新款高能效型opteron桌面系统。

浸

浸入式环境内使用NRR一起支持机器学习等技术减少了参数搜索空间可能会提供一个更实惠的选择非常昂贵的商业neuronavigation系统。在浸入式环境的上下文中,应用程序可以创建与超声增强用户体验。超声波是一种广泛使用的,易于使用的,更便宜的比核磁共振成像设备。一个主要好处是,它不使用电离辐射,是安全的。此外,超声波可以提供实时成像,使它成为很好的工具在微创手术指导。然而,固有的缺陷超声图像和传感器之间的分离调查。探测器总是接近病人,但图像在屏幕上显示几米远的地方,耐心。外科医生必须找出图像的位置相对于病人解剖。解决这一缺陷,全息透镜可以引入显示图像在平面上定义的调查。这样做可以提高超声波超声混合现实。 This plane can also be used as a cutting plane to show a pre-operative image slice such as CT or MRI. Users can switch between the preoperative image slice and the ultrasound image to see what happens on this plane before and after surgery.

全息透镜是光学看穿(OST)装置,利用全息技术将物理世界与一个虚拟的空间,让人与虚拟全息图。因为全息透镜是一个OST设备,用户可以看到现实世界直接通过显示。框架使OST图像引导神经外科系统(ign)包括两个部分:一部分类似传统ign数据服务器,数据接收器和全息透镜。这些部分所示图2。数据服务器是用来收集术中数据包括术中图像和NDI跟踪数据。然后发送到全息透镜通过wi - fi连接。第二部分包括一个全息透镜数据接收器接收数据从数据服务器然后将它渲染的全息透镜。呈现用于生成左、右眼图像的虚拟对象,可以是一个超声(美国)之间的视差图像或DTI纤维等。这两个图像将被用于人类的大脑产生立体视觉。正确地呈现这两个图像的虚拟对象必须正确地反应现实世界中,这通常是由一个空间注册技术。

空间注册技术寻找不同的坐标空间之间的变换。有多个坐标空间在手术室(或)所示图2。病人的坐标空间中定义NDI参考工具。在一次常规图像引导手术,执行注册程序注册病人空间图像空间如术前MRI空间。跟踪美国形象的空间位置NDI附加工具固定在预先NDI探测和执行校准过程。通过NDI追踪,术前MRI扫描,术中我们扫描和手术工具可以放在一个引用空间。虚拟对象中定义的参考空间需要转化成全息透镜空间呈现。高清彩色相机配备了全息透镜可以用来做转换。自从NDI光学跟踪器跟踪对象基于反射红外线和全息透镜高清相机使用计算机视觉跟踪对象,我们需要一种设备,可以跟踪对象使用反射的红外线和计算机视觉。一个更简单的方法是使用球体NDI的参考工具,因为这些领域可以很容易地检测到使用blob检测。自球体可以追踪NDI追踪和全息透镜照相机,参考空间之间的空间变换和全息透镜空间可以被发现。 After the virtual objects are transformed into the HoloLens space, rendering can be performed to get stereo vision.

材料和方法

患者人群和成像协议

本研究包括30例患者,来自两个医院:

布莱根妇女医院

10例(6男4女)的年龄28 - 62岁,平均年龄为45.2岁,经历了幕上的神经胶质瘤手术,2005年4月至2006年1月在布里格姆和妇女磁共振疗法(捷运)设施,这是通常用于切除内在脑部肿瘤。在某些情况下,损伤或相邻的雄辩的大脑区域,包括中央前回和皮质脊髓束的运动机能,以及布洛卡和韦尼克氏地区的语言功能。一般来说,这些都是接受手术的患者在术中MRI脑部肿瘤。入选标准包括颅内肿瘤的存在。排除标准包括MRI禁忌症。

•术前影像学。病人接受以下成像协议在通用电气(密尔沃基WI) 3 t标记扫描:

全脑矢状。3 d spoiled-gradient-echo (SPGR)成像(切片厚度1.3毫米;时间的重复(TR)、6 ms;回声(TE), 35女士;翻转角度(FA)、75°;视野FOV, 24厘米;矩阵的大小,256×256)。

b。轴向t2加权fast-spin-echo (FSE)成像(切片厚度、5毫米;TE, 100毫秒;TR 3000 ms;FOV, 22厘米;矩阵的大小,512×512)。

•术中成像。病人接受以下成像协议0.5 t是单元(SignaSP;通用电气医疗系统,密尔沃基,WI):

工程师协会。横、矢状面和冠状t1加权成像(TR 700 ms;29岁的TE女士;FOV, 22厘米;矩阵的大小,256×256;缺口截面厚度3毫米,十字路口,1毫米)。

工程师协会b。横向t2加权成像(TR 5000 ms;TE, 99毫秒;FOV, 22厘米;矩阵的大小,256×256;截面厚度3毫米;十字路口差距,1毫米)。

c。横3 d SPGR成像(TR, 15.5毫秒;TE, 5.2毫秒;FA、45°;FOV, 22厘米;矩阵的大小,256×256;截面厚度2.5毫米;十字路口差距,0毫米)。

华山医院

20例(11个男性,9名女性)的年龄范围19 - 75年手术单,单方面的,从2010年9月至2013年8月幕上的主要神经胶质瘤。病变包括锥体束(PTs)或在电机或躯体感觉皮质区域的区域,大脑皮层区域毗邻中央回,沿着PTs与渗透性的皮质下区域发展,和/或颞深或孤立的地区与内囊。

•术前影像学。术前脑图像得到的诊断房间iMRI-integrated神经外科套件(是¹、温尼伯马尼托巴省,加拿大)使用安装可移动3.0 T MAGNETOM Verio扫描仪(西门子公司(Siemens AG)、埃朗根、德国),70厘米孔径工作:

怀疑的。高档神经胶质瘤,显示明显的增强后的对比,对比magnetization-prepared快速梯度回波(MP-RAGE)作为各向异性彩色地图的解剖基础和肿瘤解剖特性分析。T1对比度图像获得3 d MP-RAGE序列(TR 1900 ms;TE, 2.93毫秒;反转时间900毫秒;FA 9°, FOV, 250×250毫米²;矩阵的大小,256×256),在静脉注射对比(二乙三胺penta-acetic酸钆)。

b。因涉嫌低级神经胶质瘤,对比后显示没有明显的增强,fluid-attenuated inversion-recovery(天赋)序列作为解剖基础。T1对比度与天赋获得序列图像,与一个轴涡轮自旋回波脉冲序列(TR 7600 ms;TE, 96毫秒;反转时间900毫秒;足总,9°;片,60;切片厚度2毫米;矩阵的大小,256×180;的视野,240×240毫米²)。

•术中成像。与术前MRI扫描仪一样使用:

,T1对比度图像获得3 d MP-RAGE序列(TR 1900 ms;TE, 2.93毫秒;FA 9°, FOV, 250×250毫米²;矩阵的大小,256×215;切片厚度1毫米)。

b。T1对比度图像与天赋获得序列(TR 9000 ms;TE, 96毫秒;FA 150°;切片厚度2毫米;FOV, 250×50毫米²;矩阵的大小,256×160)。

神经外科医生切除肿瘤的体积估计为每一个病人进行术前和术中MRI容量分析。基于此容量分析,数据被归类为:(i)脑转移(没有切除),(2)部分切除,(iii)全部切除,切除(iv)上。表1总结了临床数据。进行数据收集机构审查委员会(IRB)批准的医院。协议详细摘要姚明et al。(60)和Archip et al。(20),第一次使用的数据。

分割

执行非刚性的注册使用特定的大脑模型派生术前解剖图像分割到大脑,肿瘤,non-brain区域(20.)。分割性能不是关键,因为术前成像通常是手术前几天进行。分割的联合执行手动和自动的工具。首先,使用开源的头骨和外部组织被大脑提取工具(打赌)(47)。进一步细分的大脑表面进行了使用自动操作符的组合中实现三维切片机软件(即。、区域生长和水平集过滤器)(61年)和挤牙膏式手动分割修正。评估如何分割精度影响对准精度超出了本文的范围,但将包括在未来的工作中。

网格生成

分割用于生成一个特定的有限元网格方法基于物理非刚性配准。至关重要的元素的形状精度和收敛的有限元解。例如,元素与大型二面角角度增加的离散误差的解决方案(62年)。另一方面,元素与小二面角角度对矩阵条件不利,但不是为插值或离散化(63年,64年)。

一个平行的德劳内啮合的方法是用来镶嵌细工的分段的大脑与优质的四面体元素和模型大脑表面几何和拓扑担保(65年)。两个single-tissue(即。,brain parenchyma) and multi-tissue (i.e., brain parenchyma and tumor) meshes are generated.图3描绘了一个multi-tissue网格。参数δ(表3)确定网格的大小,一个较小的δ> 0生成一个更大的网。

严格的登记

本研究的目的,患者首先接受了术中扫描头颅骨切开术的定位和固定后但在头骨被打开了。作为一个标准程序执行是在神经外科医生的要求,硬脑膜的打开后,期间或之后一个重要的肿瘤体积切除或当外科医生决定适当的(66年,67年)。假设最小的大脑转变至此,初步估计一个刚性变换执行严格的登记从术前术中图像数据。这个刚性变换方法被用来初始化非刚性配准。

执行严格的登记使用BRAINSFit模块集成在3 d切片机v4.4.0 (58)。BRAINSFit普遍登记模块研究社会的广泛使用。BRAINSFit僵化的注册依赖直方图箱和空间样本来估计锍互信息成本指标(表2)。空间样本数量越大,速度越慢,更精确。默认值直方图的数量水平和抽样比例是50和0.2%,分别。几百直方图水平和5%的抽样比例选择实现精度高(表2)。默认值被用于其他参数(优化器类型、最大迭代次数最小步长,和网格大小),以确保稳定的注册。BRAINSFit的参数的更多信息可以在3 d切片机。

非刚性的登记

随着手术的进行,最初的严格的术前术中注册变得越来越少有效。最好的利用术前手术指导图像数据(包括使用功能磁共振成像和DTI通知关键结构附近的肿瘤的外科医生),术前图像必须使用非刚性的相应更新登记。

最近的努力旨在模型变形术中大脑组织收缩和肿瘤切除。多边投资担保机构et al。(68)介绍了建模收缩和切除的方法使用一个多步骤的过程,它允许任意位置和运动的牵开器和切除组织。组织切除是通过手动删除模型建模元素确定为肿瘤术前的形象。Risholm et al。(69)提出了一个注册框架基于双射的恶魔算法可以处理收缩和切除。收缩变形场的检测在区域内部应变和高收缩估计边界整合在一个各向异性扩散边界平滑。切除是检测到水平集方法在图像强度的空间不同意发展。Ferrant et al。(54)追踪大脑变形由于肿瘤切除在多个术中MRI收购。每次扫描后,大脑表面分割,surface-matching算法用于驱动变形的大脑的有限元模型。- et al。(70)由分段建模收缩大脑表面从两个连续的术中MRI图像数量和识别地标在这些表面上。位移的两个表面之间的地标是用于驱动变形使用有限元建模技术,允许在切除边界不连续。我们最近推出了(22,71年,72年)的一种自适应形式PBNRR最初所描述的Clatz et al。(21)在ITK和更新和实施刘et al . (24,59)。A-PBNRR是专门开发模型肿瘤切除术术中图像中没有人工干预。与其他方法(54,70年)它使用基于图像的登记,从而不需要术中MRI图像的分割,这是耗时且可能需要手动干预。该算法并行化,以确保它足够快是用于临床。

作为比较的标准,方法实施刚性和非刚性配准的开源BRAINSFit模块3 d切片机。非刚性的登记方法是基于b样条插值方案,它使用一个三维立方控制网格优化注册(58)。表2b样条变形注册方法的参数列表。为了方便性能比较,所有三个非刚性的注册方法是并行共享内存多处理器架构。

自适应基于物理非刚性的登记

A-PBNRR (22)增强PBNRR (59),以适应软组织变形引起的肿瘤切除。PBNRR可以准确捕捉大脑转变(即。,volumetric deformations of the brain) during image-guided neurosurgery (21)。PBNRR使用有限元方法(FEM)模型变形和估计稀疏位移矢量与选择相关功能位于颅腔术前的形象。稀疏的向量(边界条件)用于驱动不同的变形,single-tissue(即。、脑实质),有限元网格。

A-PBNRR添加迭代方法,自适应地修改异构有限元模型的优化非刚性配准组织切除。使用分割肿瘤登记错误在每一次迭代,A-PBNRR逐渐排除了切除体积的模型。在每个迭代中,进行登记,登记错误估计,网格变形预测切除卷,和大脑模型re-tessellated(减去预测切除体积)。Re-tessellation必须保证高质量的网格元素。

A-PBNRR的重大改进PBNRR是:

•自适应性。一种自适应迭代过程允许A-PBNRR逐步改变几何适应切除术的术前模型。

•非均质性。然而,PBNRR只能适用于同质(single-tissue)大脑模型,A-PBNRR可以容纳一个异构(multi-tissue)模型。Two-tissue模型(脑实质和肿瘤)被用于这项研究中,但该方法可以适应任意数量的组织。图3描绘了一个异构的大脑模型,表3本研究中使用的机械组织属性列表。

•更高的并行化。A-PBNRR并行使用一个框架,可以针对共享内存多核机器。一个先前的研究(22)表明,A-PBNRR利用额外的并行PBNRR与相应的性能改进,这样,即使有多个迭代,A-PBNRR需要平均< 2分钟执行非刚性的登记。

优化

A-PBNRR是计算密集型算法必须能够执行在时间关键型ign操作。两个方面探讨了提高精度和性能:(1)均匀分布的注册点使用自适应细化提高准确性和(2)深度学习减少参数搜索空间来提高精度和性能。

自适应优化的最优分布登记点

正如部分网格生成,提出了管道利用Delaunay-based image-to-mesh网格生成的转换工具。这种方法可以生成一个网格,忠实地捕捉(几何担保)的表面输入图像和两个组织之间的接口。然而,它并不考虑任何信息的登记点恢复块匹配步骤。选定的例子所示图4。在以前的工作(73年),地标的分布在网格被纳入网格生成模块使用自定义大小的函数两种不同网格生成方法(德劳内细化和波前法)。这些修改的目标是equidistribute网格元素之间的地标预计提高配准误差。中给出的评价Fedorov和Chrisochoides (73)是基于合成变形字段和显示,事实上这些修改减少登记错误。

在这部作品中,同样大小函数应用来验证该方法的有效性。此外,初步结果应用网格的适应方法,源自计算流体动力学领域(74年提出了)。

出于完整性的考虑,采用的总结方法Fedorov和Chrisochoides (73)提出的修改,可以把它变成一个各向异性基于指标的方法。登记点的均匀分布可以制定分配相同数量的登记点在每个网格顶点细胞复杂,网格顶点细胞复杂在哪里定义为连接到一个顶点的所有元素的集合。当地的关键方法是设置在每个顶点间距等于距离k最亲密的定位点。假设一个理想的间距网格顶点细胞复杂的每个顶点将包含k登记点。一个例子给出k = 5图5。注意,另一种方式来解释每个顶点的分级约束是通过在每个网格顶点为中心的球面半径等于k定位点的距离。

优化A-PBNRR创建自适应网格,但它不捕捉当地的地标性建筑的密度有效因为只使用k点的相对位置和其余的k - 1标志将被忽略。建筑的观察前面的方法可以被视为将球体在每个顶点,可以评估的最小边界椭球包含k最近登记点和集中在给定的顶点。描述当地的间距为椭球给能力更好地捕捉当地分布的地标由于增加自由度的椭球相比是一个球体。创建包含给定的最小体积椭球pointset是优化问题研究文献(75年)。所构造的椭球有自然的映射一个3×3正定矩阵(76年),可以用作指导各向异性网格适应过程指标。为了给网格适应过程更加灵活一个额外的“通货膨胀”常数一个介绍了常见的所有点,允许扩大椭圆体的常数因子。这个参数的目的是允许网格生成程序执行操作,可能不符合严格的大小但提高整体的结果。看到图5。

为了把这个A-PBNRR方法,生成的网格并行乐观德劳内网格化(PODM)方法(65年)在每个迭代中,随着地标了块匹配步骤,用于建立一个度量字段。度规场是由迭代并行网格顶点和评估k-closest登记点利用VTK的事例搜索库(77年)。最小体积使用Khachiyan构造边界椭球算法(78年)。最后,适应网格使用MMG3D (79年)。

深度学习参数搜索空间减少

A-PBNRR利用许多不同的参数,驱动其结果。每个病人的大脑都是不同的,而时间是一个关键的资源在ign操作。结果,确定输入参数实现注册的问题尽快优化和同时占特定的细节是一个开放的问题。A-PBNRR有许多输入参数(见表3),一个详尽的参数搜索的成本是非常昂贵的。例如,平均情况下提出了本文需要10多天使用一个集群运行24/7的400核找到最优参数值。为了解决这个问题,我们已经开发出一种深前馈神经网络可以预测集的最优或次优的输入参数,产量低的豪斯多夫距离注册图像从术前图像。深入学习系统学习的相关性不同的输入参数,其中的一些物理参数,以及它们如何有助于低豪斯多夫距离。

神经网络作为输入14个参数:12 A-PBNRR输入参数和两个附加特定的参数。神经网络的输出是一个单值:注册的豪斯多夫距离预测图像从术前图像如果这些参数被用作A-PBNRR输入。两个不同的参数有:(1)大脑肿瘤的位置(lobe-wise),每个位置由一个数值和(2)的大脑变形程度由肿瘤引起的,可以直接从刚性配准误差推断。这两个参数是必要的增加模型的patient-specificity,作为一般模型并不妥善考虑分歧的大脑中不同的病人。在我们的实验中,使用不同的参数产生了更好的结果比简单地使用A-PBNRR参数。神经网络的架构,实现使用Keras, TensorFlow后端。它由四个隐藏完全连接层,每128个神经元组成。我们使用ReLU作为激活函数和随机梯度下降法(SGD) Nesterov动力优化。架构确定通过网格搜索。深度学习模型训练A-PBNRR输出数据来自250万多个执行,跨越12个不同的病人情况,包括部分,完整的、极端的肿瘤切除术。12例,10被用于训练(~ 230万参数集),和两个评估(~ 200000参数集)。情况下用于评价局部肿瘤切除和肿瘤完整切除数据。我们有四类数据:大脑转变,部分,完整,supra-total肿瘤切除术。中间的两个类被用于评估,因为他们代表了最常发生的情况。培训和评估数据集是互斥的。

深度学习模型是使用过A-PBNRR的执行。软件利用作为输入参数设置深度学习模型预测的结果在最低的豪斯多夫距离。给出了神经网络作为输入池中的每个参数集组成的特定的参数集。这是由增加一个基地,一般参数集池包括两个不同的参数。神经网络遍历每个参数设置和输出的豪斯多夫距离注册图像是由A-PBNRR如果这个参数设置被利用。最低的编译这些预测在一个文件中,可以用作A-PBNRR输入。

选择良好的医学图像配准参数是一项艰巨的任务,有许多可能的值和组合。的深度学习部分A-PBNRR框架使这更容易通过大大限制为每个病人可能的最优参数集,将A-PBNRR一步接近被利用在现实世界,关键ign操作时间。

结果

四个注册方法的评价(包括该方法)执行从30个病人局部使用成像数据,总,上总神经胶质瘤切除术。更全面的评估,准确评估使用定性(目视检查)和定量标准(分离基于距离的误差度量,landmark-based错误呈君姚博士来衡量)。四个注册方法:

1。严格的登记中实现三维切片机v4.4.0 (58)。

2。实现3 d切片机v4.4.0 (b样条非刚性配准58)。

3所示。在ITKv4.7.0 PBNRR实现(59)。

4所示。比处理修改PBNRR肿瘤切除术(A-PBNRR) (22)。

表2,3用于注册方法的输入参数列表。

视觉评估

在大多数应用程序中,小心目视检查仍然是主要的验证检查,因为它很简单和速度。在这项研究中,一个完整注册的目视检查卷是由一个神经外科医生。神经外科医生检查大脑形态学、相关地标和雄辩的大脑区域,大脑转变,边缘的肿瘤切除后的变形。减去注册后的检验进行了术前术中MRI核磁共振。较小的减法后的差异更精确对齐。图6礼物登记结果13例肿瘤切除术(三个部分,一共7,三上总切除术)。这些情况下代表是由于肿瘤切除的不同位置。对于每一个病人,图6术中MRI显示了一个2 d部分,相应的术前MRI注册,注册的减法术前术中MRI核磁共振。较小的差异表明更精确对齐。作为图6所示,A-PBNRR提供最准确的定位和保护大脑切除的存在形态,特别是肿瘤边缘附近。相比之下,其他注册方法不能捕获复杂的软组织变形附近的肿瘤切除。

定量评估使用豪斯多夫距离(高清)

客观、自动方法(80年)是用来定量评估登记的准确性。这个方法是首选,因为它是快速和不需要人工干预。它依赖于精明的边缘检测(81年计算两点集)。第一个点集从术前体积计算(图7),然后转换(使用变形场计算每个注册方法)从术前术中空间。图7 b描绘了一个点集转换。第二点集计算的术中卷(图7 c)。豪斯多夫距离(HD)指标(82年)是用来计算两点之间的位移度集。

表4提出了定量评价的结果。一个更小的高清值表示更好的登记(高清≥0),所以会有完美的登记高清为0。表5提出了最小、最大和平均误差为每个案件。

这一比率=高清_X/高清_{一个−PBNRR}表示的程度误差A-PBNRR低于X的错误方法,其中Xϵ{RR, b样条,PBNRR}。A-PBNRR达到最小的错误在每个情况下和最小的平均误差(3.63毫米)在所有四个方法。在30个测试用例,A-PBNRR是5.47,4.34,和5.06倍比RR更准确的切除,b样条和PBNRR分别。请注意,本研究利用高清规与我们之前的工作(100%20.),以高清指标95raybet雷竞技下载地址%。图8情节的高清误差数据表4。表4,5表明,独立的评价方法A-PBNRR优于所有三个登记在这个评估方法。这些定量结果与提出的质量数据一致图7。

定量评估通过解剖标志

登记的准确性是定量评估使用解剖标志由一个神经外科医生,建议Hastreiter et al。(83)(图9)。在每个注册术前神经外科医生位于六个地标图像相应体积和术中图像体积。地标A和B分别选择附近的皮质肿瘤;C和D选择前角和三角侧脑室的一部分,分别;选择E和F之间的结脑桥、中脑和第四脑室的屋顶,分别。一至四个额外的地标功能感兴趣的是位于一个单独的基础的神经外科医生。对于每个案例,这些额外的地标选择取决于肿瘤的位置,手术方法,术前和术中图像的可见性。这些结构的功能性利益包括,在其他人,初级运动皮层,锥体束,大脑侧裂,丘脑外侧边界,基底神经节、内囊后肢和主要血管。对于每一个里程碑,错误计算了具有里程碑意义的位置之间的距离在注册术前图像和相应的术中图像。表5提出了最小、最大和平均误差为每个案件。评估确认A-PBNRR提供最准确的登记、平均误差最小1.03毫米和3.22毫米的平均平均误差。

性能

共享内存的所有方法并行多处理器架构。图8 b介绍了端到端执行时间的登记所有30例术前术中图像。严格登记、b样条,PBNRR A-PBNRR需要平均0.84,8.98,0.83,和1.42分钟,分别(包括I / O)。注意,b样条方法是最的运算量,要求超过8分钟17 30例。一组不同的b样条参数,如抽样比例小,较少的直方图箱或粗网格可能会提高性能为代价的准确性。虽然A-PBNRR比严格的登记和PBNRR慢,它有更好的精度比其他方法的切除,这是足够快以满足图像引导神经外科的约束,在登记的时候< 2 - 3分钟。

自适应优化的最优分布登记点

的结果增加网格适应A-PBNRR方法介绍表6。登记的数量分网格单元顶点将k = 500。这个值被选自生成网格的顶点数接近基线网格。表的第一行对应于使用A-PBNRR没有适应的基本情况。“iso”表示应用程序中描述的各向同性适应(73年)。各向同性适应降低了这种情况下的豪斯多夫距离近13%,但增加了错误在神经外科医生发现的地标。此外,它有两倍的价格网格的大小。剩余的行对应于应用各向异性网格适应深度学习节中描述的参数搜索空间减少。我们还提供免费的参数“a”对应于“膨胀”生成的椭圆体的常数。这个参数的目的是允许网格生成程序执行操作,可能不符合严格的大小但提高整体的结果。= 1.0(即没有通胀)的豪斯多夫距离略低,只有最小landmark-based误差较低。增加通货膨胀参数1.2和1.5可以看到改善最小和平均landmark-based误差,同时减少网格的大小。

虽然这些研究结果只是初步(一个完整的研究将在未来完成),他们表明,生成一个“理想的”网的问题,图像配准的目的包括竞争评估标准如最小网格大小,豪斯多夫距离和上面的landmark-based错误。引入网格适应A-PBNRR有可能改善其有效性但还需要进一步研究,以优化其参数,这使得它适合深学习方法提出了部分。

深度学习参数搜索空间减少

使用深度学习模型,我们实现了训练均方误差(RMSE)预测的1.41和1.21的评价RMSE豪斯多夫距离。平均的基础上表7,A-PBNRR深度学习~ 8.45倍比严格的登记,比b样条登记~ 6.71倍,比PBNRR ~ 7.9倍。还应该指出的是,与深部肿瘤A-PBNRR性能很好,导致大脑变形,相比其他注册方法,导致的结果是平均~ 16.8倍。总的来说,A-PBNRR与深度学习导致更精确的结果比任何其他注册方法。

讨论和未来的工作

最近神经影像学的进步如fMRI和DTI允许神经外科医生计划肿瘤切除术,减少损失雄辩的皮质区域和白质束(11,13,84年- - - - - -86年)。许多商业系统(例如,Brainlab曲线图像引导治疗系统)可以注册功能磁共振成像和DTI术前MRI解剖影像,然后这些数据映射到病人使用严格的登记处理。然而,它已被证明,大脑可以有显著的变形手术期间,尤其是在肿瘤切除的存在,使得刚性登记由术前和手术计划数据无效(不足87年)。

术中MRI可以用来观察变形期间大脑手术。虽然是不切实际的获取功能磁共振成像和DTI术,术前MRI图像可以使用非刚性的术中MRI图像注册登记。结果登记可以应用于术前fMRI, DTI,和手术计划,提供更准确、更新指导神经外科医生(20.)。

非刚性的注册算法依然计算昂贵,已被证明是不切实际的用于临床设置在过去。然而,这项研究表明,并行/分布式计算和深度学习可以提供更快和更有效的图像引导神经外科的登记(20.,88年身临其境的解决方案),这是至关重要的。

实验结果证实,四个方法,A-PBNRR提供最准确的登记,3.2 - -3.6毫米,平均误差为landmark-based和豪斯多夫基于距离度量,分别为各向异性图像间隔(例如,0.488×0.488×1.0毫米³,表1)。切除的程度(部分、总或上)不显著影响这个精度(图7,8;表4)。性能分析表明,A-PBNRR足够快是有用的在临床设置。

作为未来的工作的一部分,改进大脑的主要子结构的建模,例如心室应当。到目前为止,大脑是网状组织。然而,这有时会导致misstructured组织,如在心室的情况下可能出现扭曲。这将是解决通过使用multi-tissue网代,心室和其余的大脑作为独立的网状结构和后来的总和。关于机器学习,豪斯多夫距离结果比使用默认参数的结果。然而,评估神经外科医生的解剖标志显示小改进的机器学习在默认参数。因此,需要进一步的工作。

本文所展示的,30个病人的研究,我们可以将术前图像数据映射到几毫米的患者平均误差和计算时间可接受在临床环境。未来的努力将继续集中精力提高对准精度和减少计算时间,使用云计算和机器学习。减少计算时间,需要探讨如何提高注册方法的并行化。提高精度需要调查高阶有限元建模研究对精度和性能的影响。此外,分割和模型结构对登记精度的影响仍然是一个潜在的未来的研究领域。具体来说,高质量的影响进行调查细分的大脑表面和结构约束变形,如颅骨腔、大脑镰、小脑幕,将揭示吸纳更多组织的影响,包括血管和心室,进入大脑模型。最后,因为在许多神经外科术中MRI不可用套件,进一步研究将使用术中超声追踪大脑在手术过程中变形将延长这些登记方法映射术前术中超声图像数据。

总之,虽然提出了有前景的结果,有两个局限性。首先,< 2毫米的精度需要不断实现。第二,这些结果与术中意识到核磁共振成像,这是昂贵的,因此没有被广泛使用。作为一种替代方法,可以使用术中超声。然而,要实现高精度超声波,更加困难的问题,计算友好的形态(即。,术中MRI)必须首先得到解决。

结论

本研究比较四种方法的术前术中MRI图像图像数据登记在大脑的存在显著的变形在神经胶质瘤切除术30例。自适应方法在本研究开发基于物理非刚性配准是明显好于其他方法在建模形变的切除。登记精度和性能被发现在手术室的临床价值,并结合与深度学习和混合现实A-PBNRR ign的可以提供一个令人信服的解决方案。

数据可用性声明

最初的贡献提出了研究中都包含在这篇文章/补充材料,进一步调查可以直接到通讯作者/ s。

作者的贡献

FD和数控开发自适应PBNRR (A-PBNRR)方法,它由FD实现。AA、CT和房颤(虽然他在CRTC)数控开发机器学习和网格细化方法改善变形的近似方法注册的准确性。身临其境的方面的论文和NRR在混合现实ign的使用环境是由YL和数控。数据的收集和评估的结果和方法由CY照顾,KK,科幻,NF、AG)和家乡。所有作者的文章和批准提交的版本。

资金

这项工作在某种程度上是由NSF批准号ccf - 1439079, NASA批准号NNX15AU39A,约翰西蒙•古根海姆基金会Richard t . Cheng养老和斯塔弗洛斯尼阿科斯基金会,苏拉CNF 19-04、NIH R01NS049251 NIH 5 r01eb027134, NCIGT P41EB015898。此外,它支持的部分建模与仿真在老道明大学奖学金和统治奖学金。

免责声明

完全的责任作者和内容并不一定代表官方观点的支持这项工作的政府机构。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

确认

我们要感谢那些评论家的建设性和富有洞察力的评论,大大改进了本文的演示。

脚注

引用