羽毛增长的计算机视觉量化框架模式

1介绍

动物形态的变化通常有一个遗传起源。例如,许多鸟类展览不同模式的波峰,羽毛显示与通信相关结构和求爱(普鲁姆1999;阿蒙森,2000;价格,2002)。国内岩石鸽子(鸽属利维亚负责人)波峰的特点是羽毛的头部和颈部,其增长极性是相反的:正常的背侧腹侧和背腹侧,导致一根羽毛,曲线向头顶而不是下来,远离它(图1)。头波峰鸽子中不同品种在羽毛的大小和空间范围(图2)。EphB2基因的一种变体似乎头嵴形成所必需的,但这个基因还不足以解释所有的定量和定性的变化头整个物种的波峰(夏皮罗et al ., 2013)。因此,头部波峰形态的定量评估是必不可少的发现额外的基因控制波峰变异。识别这些基因,反过来,将扩大我们的理解的遗传和发育机制,监管模式和增长在脊椎动物皮肤附属物(例如,羽毛、头发、尺度)。

羽毛有很长的历史在发育生物学作为经济增长的模型,模式,区域皮肤身份(布尔et al ., 2017)。然而,研究成人羽毛的模式和形态很大程度上依赖于繁琐的手动检查和视觉检查个人的羽毛。测量大片或补丁的羽毛可以高度劳动密集型、费时,而且容易出错。这些挑战使一项研究的作者得出结论,“羽毛计数的工作是乏味的和严格的和产量小的结果相对于所涉及的劳动”(1936年,惠特玛)。理想的方法研究羽毛应该基于非侵入性成像模式,它允许形态信息捕获原位,没有干扰的羽毛或删除。此外,应定量的方法,测量可以方便地集成到数据科学分析管道进行基因和基因组分析地图的基因变异的控制。例如,了解岩石鸽子,头冠变异最相关的测量位置、密度、皮肤和程度的头部和颈部羽毛和反极性生长。基因映射项目通常需要大量的动物健壮的统计支持,(香港公园,2012年)所以羽毛图案的分析也应该足够快,fully-automatable。

在这里,我们提出一个方法来量化羽毛模式,利用(a)非侵入性的计算机断层扫描(CT)成像,(b)基本后处理图像转换为点云表示捕捉皮肤和羽毛的形态,(c)集群和机器学习分析分离和识别个人的羽毛,和(d)数值程序量化羽毛曲率和推断了羽毛的位置和面积。我们的结果,验证了视觉检验,证明了可行性和实用性相结合的成像和机器视觉实现曾经认为是几乎不可能的分析。我们预计我们的方法将鸟类生物学之外各领域有广泛的实用程序。

2材料和方法

2.1图像采集

CT获取组织的密度和材料,并已用于鸟类(琼斯等人。,2019年;布尔et al ., 2021),尽管扫描优化主要用于内部硬组织解剖学。可视化的羽毛是具有挑战性的由于他们的低辐射不能透过。在目前的研究中,刚牺牲国内摇滚鸽子(n= 8)仔细处理保护头部和颈部的天然构象与羽毛,最小扰动和扫描50μm分辨率使用小动物CT (Inveon,西门子临床成像)工具。采集设置,其中包括30千伏x射线的能量相对较低,但500年高电流μA经验,决心提供最大的羽毛和周围空气之间的对比。扫描然后重建使用标准Feldkamp Shepp-Logan滤波算法(1979年Gullberg说道),转换为Houndsfield而言单位(胡)。

2.2解剖表示

进行后处理和分析都是一个Linux工作站配备一个AMD Ryzen 1900 x 4.0 GHZ CPU, 64 GB的RAM和NVIDIA GTX 2080 - ti图形卡。作为后分析的第一步,CT扫描的解剖特点需要代表数学(例如,转换成3 d坐标点)来促进他们的定量表征。虽然这可以完成通过几种不同的方法,我们呈现CT体积等值面使用阿米拉和经验决定强度范围,binarizing强度窗口内的数据。然后,我们生成的点云组成的多边形顶点的等值面。表面元素的坐标点获得使用高强度阈值(200−胡)分组直接点云表示“皮肤”。相比之下,“一切”点云是使用生成的低阈值(860−胡)来消除背景噪音。随后,“皮肤”是排除在“一切”形成了“羽毛”的点云,通过删除点在“一切”云接近顶点的“皮肤”云。剩下的“羽毛”云包含主要羽毛脊柱,和残余图像噪声和工件。

2.3集群隔离和标识

在定量形态学特征之前,另一个必要步骤是确定和隔离与个人相关的点簇羽毛的“羽毛”的点云,不仅含有脊柱,而且成像工件和unremoved图像噪声。幸运的是,类似于基于解剖邻近目视检查,孤立点的羽毛可以接近或密度的点。为此,分层的python实现Density-Based空间聚类的应用程序与噪声(HDBSCAN)算法(Campello et al ., 2013;麦克因尼斯et al ., 2017)是用于识别的点与每个不同的对象相关联。聚类算法应用于前面提到的“羽毛”的点云,使用默认的算法参数引用的实现除了最小允许集群大小设置为50分。点云是内在无序,确定集群索引,下令对距离“皮肤”的点云。每个索引集群被压缩到10等距的点沿着索引位置的平均空间维度。这个过程中演示图5。将每个集群分类为“羽毛”或“羽毛”,单一通道卷积神经网络组成的三卷积层之后,六层分类网络与漏ReLU Pytorch激活函数是实现(亚当et al ., 2019)。每个子样品的集群是由三个组成的数组表示为10的规范化xyz坐标的10分。生成模型的训练数据,三只鸟(一个冠,两个un-crested)进行扫描和处理点云。这个过程花了18 h,并生成大约30000集群,其中22000被用来训练模型,剩下的8000人用于测试。在训练时,模型训练120时代,更新按照默认Pytorch ADAM优化算法的实现和评估测试集群,在不到2个小时。

2.4形态量化

分离和鉴定后与个人相关的点簇羽毛,可以获得所需的形态量化数值。的极性标识的羽毛是通过计算线性近似羽毛的顶部和底部了图1使用中演示的凝聚点图5。使用前三的两个线性近似计算和底部三分的凝聚点,和用于推断交集点的角度α和α′可以确定。这些交叉角度相互进行比较生成Δα术语。随后,羽毛被贴上“正常”或“反向”极性,取决于Δα分别是积极的还是消极的。此外,羽毛底部的外推点被用来确定插入点的羽毛在皮肤表面。羽毛的插入点与反向极性被用来计算当地波峰羽毛密度在皮肤表面坐标。最后,羽毛的皮肤区域密度大于7的经验确定阈值 $\frac{\text{羽毛}}{{\text{厘米}}^2}$ 摄头波峰面积。

2.5性能评估

我们的羽毛模式分析框架的性能是评价两个方面。集群分类的准确性是评价8000集群测试集的手贴上。其次,分析管道的最终输出(皮肤的地区被反向极性生长模式)是评价5日鸟分开训练的集群的派生。执行评估,集群“羽毛”点云的每一只鸟都是手动标记(采取6 h /鸟手标签的每个集群),并计算极性验证。手动验证数量,其余要映射的过程进行反向极性的地区。然后计算intersection-over-union这个区域与区域之间由完全自动化的过程。作为一个控制,同样的程序做了两个额外的鸟类没有头波峰来验证没有区域标识。

3的结果

一个代表性的CT图像显示了一只鸽子头部和颈部图3。正如所料,捕获的图像内部解剖的精致的细节(例如,骨头)。相比之下,轴的羽毛,背景噪音和工件有类似的低强度,这凸显了后续分析的困难,但并非不可能的任务。图4显示了一个点云解剖isourface和用于集群和形态分析,这些集群被归类为是一个羽毛,显示在集群标识为羽毛图5在绿色,而皮肤用白色表示,该地区和决心在红色反向极性。图6显示了一个代表羽毛和non-feather点集群在通关环节处理的三个阶段,分别检测、排序,和二次抽样从左到右。当前分析的最终输出管道,这是inverted-polarity羽毛和二进制区域的密度地图表示的波峰位置和程度,所示图7,8分别冠和non-crested鸟。

作为性能指标,在8000个人集群相比,自动(即。,machine learning) classification correctly identified the feather clusters 86.0% of the time, while producing 4.5% and 9.4% false-positive and false-negative identifications, respectively. Although the accuracy could likely be improved by additional training data, more sophisticated algorithms, and additional training, the performance was deemed acceptable for characterizing the collective behavior of regions of feathers (例如,密度和面积逆转羽毛)而不是个人羽毛极性。第二个测试的性能,十字路口在联盟计算5鸟,三个波峰,和两个没有。图9显示了一个代表比较峰值区通过电脑和目视检查。三冠鸟检查,自动和visually-determined嵴区域重叠的平均95.0%±3.1%(平均值±标准平均误差)。相比之下,没有发现波峰面积的两只动物没有峰值,如预期。在一起,这些发现表明,我们建议的框架,羽毛特性是高度准确、可靠。

的计算性能,整个分析(从点云创建映射的增长模式)花了大约4.8分钟每只鸟在我们适度的计算设置。超出了最初的经验确定计算参数(如强度阈值水平),分析了在一个完全自动化的时尚没有额外的用户输入。

4讨论

我们应用计算机视觉和机器学习技术分析羽毛形态从鸽子的CT图像,和量化的位置和面积的波峰。结果是在良好的协议与当前“黄金标准”通过视觉检查。值得re-iterating,虽然这种方法只适用于一种鸟类,我们没有理由看到这项技术不应该适用于不同物种也表现出波峰增长模式,并且可以适应量化不同的增长模式。

扣除的初始经验确定参数,和标签训练数据的集群识别模型,整个自动分析和花了不到5分钟处理时间对我们适度的工作站。CT扫描和重建相比57岁和23分钟,分别分析不会成为瓶颈大容量和高通量项目。据我们所知,这是第一次,羽毛生长模式的分析是成功地进行非侵入式的、定量和完全自动化的时尚。

为了使这种方法是可行的,所映射的结构必须满足两个主要条件。他们必须存在于radio-opacity阈值,这样就可以呈现为一个等值面,和被分离成单个结构通过聚类或一些类似的方法。除了在羽毛,阐明可量化的指标可能有这种技术的适用性与其他拓扑类似的场景,满足标准。限制讨论生物场景中,有很多的例子,这些所谓的“成长”结构在不同组织类型直接生长在另一个之上。例如,骨肉瘤恶性肿瘤长在骨头的表面(Widhe Widhe, 2000;辊et al ., 2018)。同样,佩吉特氏病的特点是脊椎软骨和纤维产物结构(赛和哈桑,2003)。量化的技术我们已经开发了羽毛的形态生长的皮肤可能是一个可行的方法来识别和量化这些类型的生物生长的形态结构特征是一种组织类型增长立即下到另一个地方。

尽管结果是鼓舞人心的,当前的研究有几个潜在的局限性。首先,通过比较结果验证了通过视觉检查。虽然目前生产最好的“真理”,目视检查必然是主观的,及其labor-intensiveness限制比较几乎可以执行的数量。第二,我们的机器学习算法的准确性对于识别羽毛是一个温和的86%,和准确性直接决定他们的极性没有评估。虽然我们目前的输出(即。,the overall location and area of the head crest) appear not to have been adversely impacted, these limitations may need to be addressed in other applications. One notable approach could be通过额外的训练数据(更多的手贴上集群)或数据增大。早期版本的集群基于机器学习的分类、使用数据增强了,但为了使鸟类的方法的相对位置的扫描仪,羽毛,位置和计算稳定性,xyz点用于分类规范化。这个归一化数据增加旋转的最直接的方法,翻译,扩张集群不代表实际的数据。在未来的工作中,或更高的精度在集群识别任务是必要的,更复杂的数据扩增方法当然可以被探索。

最后,作为图像分析,管道的性能高度依赖于输入图像的质量和使用的方式。当前的研究之后才可能最大化的最优CT协议的对比的羽毛脊柱CT图像确定。成像和分析管道可能需要为每个不同的应用程序在个案基础上进行了优化。

数据可用性声明

原始数据支持了本文的结论将由作者提供,没有过度的预订。

道德声明

动物研究回顾和批准犹他大学制度动物保健和使用委员会。IACUC协议数量:16 - 03010和19 - 02011。

作者的贡献

相应的作者构思的方法,并得到了咨询和支持第二作者。

资金

这项工作是由美国国立卫生研究院的资助R35GM131787 MDS。

确认

这个手稿的内容提出了部分在2020年国际会议上计算科学和计算智能:t·汤普森,A .维克瑞·m·夏皮罗和e .许“羽毛增长的计算机视觉量化框架模式,“2020年国际会议上计算科学和计算智能(去找找CSCI), 2020年,页1688 - 1690,doi: 10.1109 / CSCI51800.2020.00311。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

引用