LPMP:视觉的仿生模型定位在具有挑战性的环境中gydF4y2Ba

1介绍gydF4y2Ba

机器人定位系统的性能取决于他们的能力,不断构建一个稳定和准确表示他们的环境(gydF4y2BaYurtsever et al ., 2019gydF4y2Ba)。然而,建立这样一个表现为自动驾驶汽车仍然是一个挑战,它必须面对大型和动态的环境,因为他们的目的是要部署环境的长期几十公里。即使在一天的规模,改变光线的变化、车辆或行人的瞬态存在,城市景观和不可预测的变化(道路工程)特别影响的感知空间(gydF4y2BaZaffar et al ., 2019gydF4y2Ba)。解决这些问题是至关重要的自主车辆的部署。gydF4y2Ba

在不同传感器可用来执行机器人定位,愿景的使用是获得越来越多的利益因为相机是丰富的,被动的,便宜的传感器(gydF4y2Ba范Brummelen et al ., 2018gydF4y2Ba)。域的视觉识别(冲程体积),旨在描述一个地方从视觉信息,引发了众多研究工作这最后一年(gydF4y2BaYurtsever et al ., 2019gydF4y2Ba)。这些系统操作主要是通过处理信息从一个单眼相机获得为了self-localize环境。通过搜索发现当前位置,已经游览过的地方中,外观接近当前的形象。gydF4y2Ba

与冲程体积的应用不仅限于导航领域,多个社区提出了模型,导致一个非常丰富的景观模型(gydF4y2Ba陈et al ., 2017 bgydF4y2Ba;gydF4y2BaZaffar et al ., 2020 agydF4y2Ba)。因此,提出了许多方法,首先基于手工当地或全球的特性和最近依赖深度网络(gydF4y2BaArandjelovićet al ., 2016gydF4y2Ba;gydF4y2BaZhang et al ., 2021gydF4y2Ba)。这些方法提供不同的计算成本和性能之间的平衡,它定义了一个可能的用例。例如,卷积神经网络(CNN)模型是表现最好的股票之一网络艺术的状态,并允许获得高定位的分数。然而,他们是很耗资源,需要学会在大型数据集上,仍然限制的用例可以应用在机器人导航领域(gydF4y2BaZhang et al ., 2021gydF4y2Ba)。gydF4y2Ba

最近几十年,一些作品提出解决冲程体积的问题gydF4y2Ba通过gydF4y2Ba仿生结构基于空间认知的神经机制基础动物(gydF4y2Ba芝诺et al ., 2016gydF4y2Ba)。研究动物的空间认知确实可以作为一个蓝图设计创新模型旨在赋予人工系统功能类似于生物的。大文学空间认知的哺乳动物,这些作品提出模型重建大脑结构的交互空间调整神经元(即。,将细胞)被发现(gydF4y2Ba格里夫斯和杰弗瑞,2017年gydF4y2Ba)。因此,他们提供架构位于机器人之间的接口和计算神经科学领域(neurorobotics)。由此产生的神经结构导致机器人导航解决方案(室内和室外),这可能代表替代“经典机器人”的。他们的应用程序本地化问题从而证明他们可以高效,提供新的鲁棒性和自适应特性(gydF4y2BaGaussier et al ., 1997gydF4y2Ba;gydF4y2Ba米尔福德et al ., 2004gydF4y2Ba;gydF4y2BaCuperlier 2007gydF4y2Ba;gydF4y2Ba球et al ., 2013gydF4y2Ba)。gydF4y2Ba

在本文中,我们研究了仿生定位模型的集成称为LPMP (Log-Polar Max-Pi)(机器人定位问题gydF4y2Ba埃斯帕达et al ., 2019gydF4y2Ba)。我们的目标是确定模型的关键元素允许,尽管它的简单性,提供有竞争力的定位结果。我们的贡献如下:gydF4y2Ba

•在困难的条件下LPMP我们进行了严格的评估,并与NetVLAD (gydF4y2BaArandjelovićet al ., 2016gydF4y2Ba)和CoHog (gydF4y2BaZaffar et al ., 2020 bgydF4y2Ba),两个冲程体积解决方案最有效状态的艺术。gydF4y2Ba

•我们研究了不同序列上可用gydF4y2Ba牛津大学汽车数据集gydF4y2Ba为了建立一个测试基准,比较不同的关键环境之间的性能模型。gydF4y2Ba

•我们评估两种方法构建一个环境表示:(称为自动机制gydF4y2Ba警戒系统gydF4y2Ba),它触发注册一个新地方,如果这个地方没有足够认识,和一个静态方法,它由每一个记录图像gydF4y2BaxgydF4y2Ba米。gydF4y2Ba

本文的其余部分被划分如下:首先,简要回顾冲程体积领域,在生物系统提供的视觉定位。随后,介绍了LPMP模型的一般操作。最后,实验并给出了结果,然后进行讨论。gydF4y2Ba

2冲程体积和大规模的本地化gydF4y2Ba

2.1一般定义gydF4y2Ba

来自机器人社区,冲程体积的问题是传统的摆出一个研究任务标记图像数据库中(gydF4y2Ba图1gydF4y2Ba)。一般来说,一个请求以图像的形式发送到系统,必须确定它所属的最合适的地方。冲程体积模型往往与同步定位和映射(大满贯)的问题,这就需要经常决定一个地方已经访问(环路闭合检测问题)(gydF4y2Ba布莱松et al ., 2017gydF4y2Ba)。gydF4y2Ba

是否响应一个请求或构建一个环境的地图,一个冲程体积系统总是遵循类似的途径:它开始于一个图像采集,其次是一些图像处理,允许建立一个表示,描述当前位置(gydF4y2BaArandjelovićet al ., 2016gydF4y2Ba;gydF4y2BaZhang et al ., 2021gydF4y2Ba)。这个过程一般可以在三个街区的功能体系结构,总结了所描述的gydF4y2Ba图1gydF4y2Ba(gydF4y2Ba陈et al ., 2017 bgydF4y2Ba)。根据系统,这三个模块之间的区别也非常模糊,特别是在模型完全编码图像。然而,即使图像处理是全球性的,这些系统仍然需要进行信息选择之后,其编码的一种形式。gydF4y2Ba

一个适定问题,冲程体积模型的方法来评估性能是相当传统的(gydF4y2BaZaffar et al ., 2020 agydF4y2Ba)。首先,目标冲程体积系统编码一个特定的序列图像数据集(学习),地面真理是已知的和记录。其次,一些图片(测试集)提交给系统,它返回最接近已知的图像称为假设。建立模型的性能,然后足以符合系统的假设,根据车辆的当前位置的距离。gydF4y2Ba

2.2冲程体积的简要回顾gydF4y2Ba

由于其多学科性质,冲程体积进行了研究领域的几个社区,用于各种各样的应用程序:在机器视觉(gydF4y2Ba鸟居et al ., 2013gydF4y2Ba;gydF4y2BaSermanet et al ., 2014gydF4y2Ba;gydF4y2BaZaffar et al ., 2020 bgydF4y2Ba在数据库(),gydF4y2Ba公园et al ., 2010gydF4y2Ba;gydF4y2BaArandjelovićet al ., 2016gydF4y2Ba在机器人),(gydF4y2Ba布莱松et al ., 2017gydF4y2Ba;gydF4y2Ba暹罗,2017张gydF4y2Ba;gydF4y2Ba加戈et al ., 2018gydF4y2Ba)。一个简短的概述不同的冲程体积类别提出了以下。gydF4y2Ba

2.2.1当地手工制作的功能模型gydF4y2Ba

最古老的方法是基于手工描述符计算从当地特性(gydF4y2Ba施密特和卡夫,2015年gydF4y2Ba),比如筛选(尺度不变特征变换)(gydF4y2Ba劳,1999gydF4y2Ba)、冲浪(加速健壮的功能)(gydF4y2Ba湾et al ., 2008gydF4y2Ba),DBow(袋二进制字)(gydF4y2BaGalvez-Lopez和缓慢的,2012gydF4y2Ba),ORB(面向快速旋转短暂)(gydF4y2BaRublee et al ., 2011gydF4y2Ba)。这些方法的缺点是非常依赖于使用的探测器的质量,往往对亮度的变化相当敏感或不相关的元素的比例(行人、自行车或汽车)在一个图像。gydF4y2Ba

2.2.2全球手工功能模型gydF4y2Ba

全球手工方法处理整个图像”来形容它,不经过检测阶段。这些方法往往更耐光照的变化,小的存在无关的元素比当地的方法,但他们更敏感的变化的观点或天气变化(gydF4y2BaZaffar et al ., 2019gydF4y2Ba)。最有效的全球特性从艺术的状态,我们可以把要点(gydF4y2Ba奥利瓦和Torralba, 2006gydF4y2Ba)或CoHog (gydF4y2BaZaffar et al ., 2020 bgydF4y2Ba),它提供了非常有效的光和图像描述方法。gydF4y2Ba

2.2.3学习方法gydF4y2Ba

随着计算能力的发展,许多领域已经看到新出现的模型基于深度学习技术如cnn或敌对的模型(gydF4y2Ba陈et al ., 2017 cgydF4y2Ba;gydF4y2Ba罗伯特et al ., 2018gydF4y2Ba;gydF4y2BaZaffar et al ., 2020 bgydF4y2Ba)。第一个工作冲程体积进行的是确定使用pre-trained网络是否可以获得可接受的定位性能依靠cnn的能力找到有效的特性来描述一幅图像(gydF4y2BaSermanet et al ., 2014gydF4y2Ba)。现在,一些模型提供完整的链解决冲程体积问题,给予很好的结果在定位困难条件下的性能。gydF4y2Ba

在这些方法中,我们可以把NetVLAD (gydF4y2BaArandjelovićet al ., 2016gydF4y2Ba),HybridNet (gydF4y2Ba陈et al ., 2017 cgydF4y2Ba)和AMOSNet (gydF4y2Ba罗伯特et al ., 2018gydF4y2Ba),它提供了最好的结果在艺术的状态(gydF4y2BaZaffar et al ., 2020 agydF4y2Ba)。然而,这种方法的缺点是计算成本(无论是在学习还是在使用),他们需要大学习的数据集,和缺乏explainability考虑自主驾驶时最重要的标准。gydF4y2Ba

2.3大规模部署约束gydF4y2Ba

部署一个冲程体积系统在大尺度上的距离和时间前提找到解决几个问题相关的使用视觉传感器。简要总结的主要限制在这一节中给出了一个增加时间表:gydF4y2Ba

对观点的变化:gydF4y2Ba在同一轨迹上,大幅的观点可以改变,尤其是在转弯或在高速度。这个问题是最本地化的关键系统之一。gydF4y2Ba

鲁棒性,动态环境:gydF4y2Ba在很短的时间间隔,在一个环境可以改变的外观由于人类活动。冲程体积系统必须能够继续发扬位置尽管存在不相关的元素,如行人、车辆、道路施工。gydF4y2Ba

鲁棒性光照条件:gydF4y2Ba整个天,光照条件变化和可以修改一个地方的比色法,不同的阴影,等等。视觉传感器从而引起强烈的眩光损失的可见性,从而导致减少定位的性能。gydF4y2Ba

3生物系统的视觉定位gydF4y2Ba

如果大规模部署冲程体积系统仍然是一个困难的挑战,哺乳动物等生物系统告诉我们,它仍然是有可能找到光和有效的解决方案。许多物种确实能够旅行数百公里,以确保他们的生存,尤其是在动物迁移(gydF4y2BaTsoar et al ., 2011gydF4y2Ba)。根据这些观察,一些作品也开始动物导航模型的认知过程来导航的人工系统提出最初的解决方案(gydF4y2Ba米尔福德et al ., 2004gydF4y2Ba;gydF4y2BaCuperlier 2007gydF4y2Ba;gydF4y2Ba陈et al ., 2017 agydF4y2Ba;gydF4y2Ba埃斯帕达et al ., 2019gydF4y2Ba;gydF4y2BaJu Gaussier, 2020gydF4y2Ba)。本节提供了一些哺乳动物的空间认知的主要机制。gydF4y2Ba

3.1海马通路gydF4y2Ba

执行定位任务,两个动物本质上依赖的信息来源(gydF4y2BaWhishaw et al ., 2001gydF4y2Ba;gydF4y2BaGiovannangeli et al ., 2006 agydF4y2Ba):gydF4y2BaallotheticgydF4y2Ba信息,外部信号,如视觉线索gydF4y2BaidiotheticgydF4y2Ba信息,来自内部传感器,明智的独立运动信息如前庭系统或本体感受。这些信息检索在哺乳动物大脑中所涉及的不同neocortices提取的形态(gydF4y2Ba尤德et al ., 2011gydF4y2Ba)。gydF4y2Ba

然后,这些信息被分别处理两条途径(gydF4y2BaGoodale和米尔纳,1992gydF4y2Ba;gydF4y2Ba萨利姆,2020gydF4y2Ba):腹侧流或gydF4y2Ba什么gydF4y2Ba通路参与对象的识别和背流或gydF4y2Ba在哪里gydF4y2Ba通路专业从事空间信息的处理。最后,他们分别达到大脑边缘皮层(gydF4y2Ba物et al ., 2019gydF4y2Ba)和海马旁皮质(gydF4y2BaAminoff et al ., 2013gydF4y2Ba)被合并在海马系统(HS),扮演着一个关键的角色在空间记忆(gydF4y2BaZola-Morgan et al ., 1989gydF4y2Ba;gydF4y2BaEichenbaum 2017gydF4y2Ba)。似乎大脑处理视觉信息在一个非常相似的方式,其次是冲程体积系统,视觉系统的第一阶段的行为类似于视觉关键点检测器和编码器。相反,信息编码的空间配置兴趣点(PoI)gydF4y2Ba通过gydF4y2Ba他们的方位角度从一个典型的冲程体积系统通常是缺失的。gydF4y2Ba

HS (gydF4y2Ba图2gydF4y2Ba),由海马体适当(HIPP)、齿状回(DG) enthorinal皮质(EC)和菌丝层(子),是大脑的一个区域,在神经生物学研究最多的由于其在空间认知的重要作用(gydF4y2Ba莫泽et al ., 2015gydF4y2Ba)和人类情景记忆(gydF4y2Ba赫伯et al ., 2017gydF4y2Ba)。即使该系统的具体功能仍不完全清楚,一些引人注目的发现了,让我们来分析空间认知的过程(gydF4y2Ba奥基夫和Dostrovsky, 1971gydF4y2Ba;gydF4y2BaTaube et al ., 1990gydF4y2Ba;gydF4y2Ba莫泽et al ., 2015gydF4y2Ba)。这些研究,主要进行老鼠和猴子,显示,HS是由各种各样的空间神经元组成的神经基础空间导航(gydF4y2Ba罗伯逊et al ., 1998gydF4y2Ba;gydF4y2Ba卷和Wirth, 2018年gydF4y2Ba)。gydF4y2Ba

3.2空间映射结构gydF4y2Ba

在这个领域最重要的一个问题是确定所扮演的角色不同的空间中神经元HS以及它们如何相互作用来产生一个健壮的和准确的地图环境支持的导航行为。gydF4y2Ba

神经元细胞:第一测量HIPP,当然最著名的,是细胞(pc)的地方。在1971年发现的gydF4y2Ba奥基夫和Dostrovsky (1971)gydF4y2Ba,这些神经元编码精确位置的环境及其周边地区位于编码时发射最大的地方。空间编码的激活神经元,称为一个字段,显示有趣的动态和健壮性属性(gydF4y2Ba莫泽et al ., 2015gydF4y2Ba)。最初位于HIPP,细胞也发现了DG和肤浅的EC (gydF4y2BaO’mara 1995gydF4y2Ba)。gydF4y2Ba

神经元细胞空间视图:这些发现HIPP灵长类动物(gydF4y2Ba罗伯逊et al ., 1998gydF4y2Ba;gydF4y2Ba卷和Wirth, 2018年gydF4y2Ba)是对特定的观点(见敏感gydF4y2Ba图2gydF4y2Ba)。因此,与细胞,这些神经元的反应只有当动物是在一个特定环境与给定方向的一部分。gydF4y2Ba

头方向细胞:于1984年发现的gydF4y2BaTaube et al。(1990)gydF4y2Ba,gydF4y2BaTaube (2003gydF4y2Ba),gydF4y2Ba巴特勒et al . (2017gydF4y2Ba),头部方向(HD)细胞编码独立动物的绝对定向的头的位置。因此他们的活动可以被视为一个指南针。首次发现潜艇,这些神经元可以在大脑的不同部位,特别是retrosplenial皮层(gydF4y2Ba雅各et al ., 2017gydF4y2Ba)。gydF4y2Ba

4 LPMP模型gydF4y2Ba

这部分是致力于该模型的完整解释。它开始于每个元素组合模型的概述及其交互作用,其次是每一块的详细解释。gydF4y2Ba

4.1完整概述gydF4y2Ba

在本文中,我们提出使用neuro-cybernetic模型”Log-Polar Max-Pi”(LPMP) (gydF4y2BaGiovannangeli et al ., 2006 agydF4y2Ba;gydF4y2BaCuperlier 2007gydF4y2Ba)解决冲程体积自主车辆在具有挑战性的环境中。这个模型中,利用当地手工制作的特性,使得建筑以一种无监督的方式,神经一个环境地图从一个摄像头和一个指南针。gydF4y2Ba^1gydF4y2Ba

记住一个地方,LPMP模型首先建立一个视觉空间的代码代表的空间配置,即。,所有的视觉特征构成它的地标和方位角度。然后记录在一个神经元的连接权值称为“空间”神经元,其活动的识别记忆的地方。LPMP模型模拟哺乳动物大脑的几个关键结构,如视觉系统和海马的一部分系统(gydF4y2Ba图2gydF4y2Ba)。最后一个区域是参与空间记忆的过程。gydF4y2Ba

代码的地方,首先提取LPMP模型gydF4y2BaNgydF4y2Ba_pgydF4y2BaPoIs从当前图像gydF4y2Ba我gydF4y2Ba集中在最佳描述它的地标(视觉系统,gydF4y2Ba图2gydF4y2Ba)。建立一个收集的这些PoIs凸起的地图gydF4y2Ba我通过gydF4y2Ba视觉的计算梯度(Deriche过滤器),紧随其后的是一只狗(高斯差)过滤器,突显出曲率点在图像和结束与当地竞争机制,选择最重要的芋泥。随后,处理这些PoIs由两条平行的途径,一个接一个的“什么”和“地方”途径,分别编码为每个PoI视觉签名及其空间定位(gydF4y2Ba米什金et al ., 1983gydF4y2Ba)。这个顺序过程模拟的注意力机制,允许先后关注信息量最丰富的地区形象的观察到在动物(眼睛跳阅gydF4y2BaTsotsos 1990gydF4y2Ba)。gydF4y2Ba

描述的视觉签名PoI, LPMP模型进行gydF4y2Balog-polargydF4y2Ba重新映射的变换,包括周围的像素PoI到对数极坐标(log-polar编码,gydF4y2Ba图2gydF4y2Ba)。这重新映射允许系统代表地标更紧凑的格式而产生的代码更健壮的小外观变化引起的运动车辆(gydF4y2Ba哈维尔·特拉弗贝纳迪诺,2010gydF4y2Ba)。然后发送到计算签名gydF4y2Ba赢家记忆gydF4y2Ba,WMgydF4y2Ba^lgydF4y2Ba(里程碑式的记忆,gydF4y2Ba图2gydF4y2Ba),一个中间内存致力于记忆所有不同的地标。gydF4y2Ba

组成的gydF4y2BaNgydF4y2Ba_lgydF4y2Ba神经元,WMgydF4y2Ba^lgydF4y2Ba它观察到的地标的学习一个新地方发生时;否则,它计算相似性目前观察到的签名和已经记住的。执行每一个里程碑式的学习,首先选择一个可用的层神经元,通过复制视觉签名的值的权重与log-polar映射。因此,价值gydF4y2BaNgydF4y2Ba_lgydF4y2Ba定义不同的地标,内存的最大数量可以编码和定义的初始化模型。gydF4y2Ba

在计算WMgydF4y2Ba^lgydF4y2Ba活动,只有gydF4y2BaNgydF4y2Ba_wgydF4y2Ba最高的神经元的活动,叫做gydF4y2Ba获胜神经元gydF4y2Ba,保持活跃和传送下一层神经元的活动。这个过滤过程,称为“竞争”,限制了数量的神经元造成视觉空间的代码的地方,允许系统多个假设对于一个给定的地标。因此,严格的竞争只允许一个单一的解释视觉签名,支持一个单一的假设可能是错误的。相反,依靠软竞争可以考虑几个假设的概率,增加对具有里程碑意义的正确认识,但产生噪音的代码的地方。gydF4y2Ba

描述PoI的空间定位,LPMP模型计算其“方位”,即PoI的绝对定向对全球北。为此,对于每个芋泥,“方位计算”块转移车辆的绝对定向,对应gydF4y2BaxgydF4y2Ba图像中心坐标,作为一个函数的角度偏差PoI这个中心。gydF4y2Ba

然后编码作为获得的取向gydF4y2Ba人口gydF4y2Ba的gydF4y2BaNgydF4y2Ba_{一个gydF4y2Ba}神经元(gydF4y2Ba乔治欧普罗斯et al ., 1988gydF4y2Ba在Pl)gydF4y2Ba^{一个gydF4y2Ba}层(方位编码,gydF4y2Ba图2gydF4y2Ba)。更准确地说,每个神经元的活性衰减指数的函数之间的角距离易磁化方向的方位角目前观察到的地标。因此,在这个PlgydF4y2Ba^{一个gydF4y2Ba}活动层,泡沫出现集中在神经元编码方位角的地标。gydF4y2Ba

结果信息的处理途径是最后发送到神经矩阵称为Max-Pi层(MPL),合并了gydF4y2Ba什么gydF4y2Ba和gydF4y2Ba在哪里gydF4y2Ba信息提取的地标gydF4y2Ba我gydF4y2Ba(哪里合并块,gydF4y2Ba图2gydF4y2Ba)。这个矩阵组成的独特gydF4y2BaMax-Pi单位gydF4y2Ba特定的神经元结构,由于其连接,执行三个操作:一个池,两个模式的乘积,颞集成。与赢家内存(WM) MPL不学习模式和仅用于构造一个视觉空间模式的代表一个地方通过积累的信息来自WMgydF4y2Ba^lgydF4y2Ba和PlgydF4y2Ba^{一个gydF4y2Ba}。gydF4y2Ba

在LPMP模型中,每个单元相同的行连接到单个神经元的WMgydF4y2Ba^lgydF4y2Ba编码视觉签名,每个单元连接到相同的列gydF4y2BargydF4y2Ba_{一个gydF4y2Ba}Pl的神经元gydF4y2Ba^{一个gydF4y2Ba}(最后一个维度(gydF4y2BaNgydF4y2Ba_lgydF4y2Ba×gydF4y2BaNgydF4y2Ba_{一个′gydF4y2Ba})]。因此,学习一种新的里程碑式的WMgydF4y2Ba^lgydF4y2Ba伴随着一个新列的神经元的招聘MPL,这样它就可以被集成到计算的视觉空间的代码。列数(gydF4y2BaNgydF4y2Ba_{一个′gydF4y2Ba})在MPL定义不同的物理地标的数量可能会导致相同的视觉签名(知觉别名),但是区分不同的方位角度,系统可以处理。gydF4y2Ba

因此,在给定迭代,每个Max-Pi单元执行以下三个操作:gydF4y2Ba

1。计算一个gydF4y2Ba马克斯池gydF4y2Ba一步的输入处理gydF4y2Ba通过gydF4y2Ba一个独特的途径:一是计算gydF4y2BargydF4y2Ba_{一个gydF4y2Ba}Pl的连续神经元gydF4y2Ba^{一个gydF4y2Ba}另一个是在WM中执行gydF4y2Ba^lgydF4y2Ba层。然而,由于每个Max-Pi单元连接到单个神经元的WMgydF4y2Ba^lgydF4y2Ba,它导致一个简单的复制输入的活动。gydF4y2Ba

2。执行一个gydF4y2Ba产品gydF4y2Ba一步的输入都成倍增加。gydF4y2Ba

3所示。集成的价值在整个处理图像保持活动,直到完成处理gydF4y2BaNgydF4y2Ba_pgydF4y2Ba地标中选择gydF4y2Ba我gydF4y2Ba。gydF4y2Ba

之后的所有PoIs处理gydF4y2Ba我gydF4y2Ba,最后活动的MPL特征空间配置特定于一个地方的地标。gydF4y2Ba

MPL的最后活动然后发送到第二个WM称为WMgydF4y2Ba^pgydF4y2Ba(赢家内存的地方),用来记住学习图像的代码。这个内存允许的活动本地化的系统环境,行为非常类似的方式将细胞。在提出的模型中,学习一个新的图像由一个控制gydF4y2Ba学习信号gydF4y2Ba,同步学习的一个地方学习的地标。gydF4y2Ba^2gydF4y2Ba

在最初的设计中,LPMP提出自主学习的环境gydF4y2Ba通过gydF4y2Ba一个gydF4y2Ba新奇的探测器gydF4y2Ba。这个检测器时自动触发的学习一个新地方WM的活动水平gydF4y2Ba^pgydF4y2Ba低于一个值gydF4y2BavgydF4y2Ba,被称为gydF4y2Ba警戒阈值gydF4y2Ba。这个系统会导致不规则铺平道路的环境(地方字段可能有不同的大小在一个给定的轨迹),这可以在内存或更经济更有效的在某些情况下(gydF4y2Ba埃斯帕达et al ., 2019gydF4y2Ba)。为了清晰,我们称之为模型中收取LPMP +模型来区分它的版本没有新奇的探测器,定期学习信号的触发如传统的冲程体积系统。gydF4y2Ba

在下面几节中,给出细节为每个块上面描述。表中给出的参数及其值gydF4y2Ba附录gydF4y2Ba可以作为一个提醒,所使用的符号。gydF4y2Ba

4.2视觉系统gydF4y2Ba

LPMP视觉系统是灵感来自动物的视觉注意力机制(gydF4y2Ba2003年的忠诚,gydF4y2Ba;gydF4y2BaGaussier Zrehen, 1995)gydF4y2Ba。它只执行一个视觉输入的非均匀采样提取显著区域的视觉信息gydF4y2Ba通过gydF4y2Ba一种机制模仿眼部跳阅(gydF4y2BaGaussier Zrehen, 1995)gydF4y2Ba。这种方法可以只关注最丰富的部分图像和大脑可以使用的解决方案来减少计算的视觉系统(gydF4y2BaTsotsos 1990gydF4y2Ba)。gydF4y2Ba

从功能的角度,提出了视觉系统寻找最稳定的高曲率点的一个图像,例如,一个角落里。它开始于一个第一阶段的准备,图像gydF4y2Ba我gydF4y2Ba在灰度转换,清理吗gydF4y2Ba通过gydF4y2Ba光滤波和直方图均衡化。然后,Deriche过滤器(gydF4y2BaDeriche 1987gydF4y2Ba)用于突出图像的边缘。这个过滤器是一个精明的过滤器的变体(gydF4y2Ba精明的,1986gydF4y2Ba),它结合了平滑,其脉冲响应是由:gydF4y2Ba

与gydF4y2BaαgydF4y2Ba作为平滑参数在0和1之间gydF4y2BakgydF4y2Ba是一个常数。减少gydF4y2BaαgydF4y2Ba增加平滑,提高了边缘检测的本地化和损害gydF4y2Ba反之亦然gydF4y2Ba。gydF4y2Ba

随后,使用卷积和狗的形象来突出曲率点不同的边缘检测。第二个过滤器是由减去两个高斯分布不同的宽度(标准差),所述以下方程:gydF4y2Ba

与gydF4y2BaσgydF4y2Ba_1gydF4y2Ba和gydF4y2BaσgydF4y2Ba_2gydF4y2Ba两个高斯分布的标准偏差。狗的使用过滤图像使其边缘扩散,加强他们的曲率值位置,所述gydF4y2BaGaussier和Cocquerez (1992gydF4y2Ba)。这两个过滤器的继任构建一个凸起的地图gydF4y2Ba年代gydF4y2Ba,这突显出重要的点的曲率gydF4y2Ba我gydF4y2Ba。gydF4y2Ba

最后,一个gydF4y2Ba当地的竞争gydF4y2Ba的局部极大值之间进行gydF4y2Ba年代gydF4y2Ba提取gydF4y2BaNgydF4y2Ba_pgydF4y2Ba稳定PoIs从gydF4y2Ba我gydF4y2Ba(见gydF4y2Ba算法1gydF4y2Ba)。这次比赛由先后选择最活跃点gydF4y2Ba年代gydF4y2Ba而抑制另一个点,在一个半径定义的gydF4y2BargydF4y2Ba_cgydF4y2Ba。这种排斥阻止系统选择半径值在凸起的地图位置已经选中。最后一步包括只有保持gydF4y2BaNgydF4y2Ba_pgydF4y2BaPoIs最大显著值。gydF4y2Ba

算法1gydF4y2Ba地图上凸起的竞争。gydF4y2Ba

4.3 Log-Polar编码gydF4y2Ba

log-polar编码模块被用来描述PoI的视觉信息通过模仿眼睛的功能(gydF4y2Ba施瓦兹,1980gydF4y2Ba;gydF4y2BaAraujo和二叠纪,1997gydF4y2Ba)。事实上,这种编码技术是受“皮质放大”,即。,的very年代pec我f我c structure of the retina (particularly the fovea) where the visual receptive field spacing and size increase with the distance from the central part of the retina.

log-polar映射始于一个圆形的提取图像补丁(或装饰图案)的半径gydF4y2BargydF4y2Ba_{马克斯gydF4y2Ba}围绕一个特定的芋泥,然后是紧随其后的是不恒定的计算采样,采样像素数量的增加与中心的距离(见的一幕gydF4y2Ba图4gydF4y2Ba)。gydF4y2Ba

从数学的角度来看,对数极坐标变换对应的装饰图案的重新映射二维笛卡尔坐标系统(gydF4y2BaxgydF4y2Ba,gydF4y2BaygydF4y2Balog-polar坐标系)。它可以表示由以下方程:gydF4y2Ba

在哪里gydF4y2BaξgydF4y2Ba(偏心或大小)gydF4y2BaηgydF4y2Ba(角)的坐标log-polar空间。gydF4y2Ba

与视觉空间表征不是连续的,圆形的小插图离散成“视觉领域,”根据输出矩阵的维数(gydF4y2BaDgydF4y2Ba_egydF4y2Ba×gydF4y2BaDgydF4y2Ba_{一个gydF4y2Ba})。给定的像素视觉部门表示在输出矩阵的一个细胞,通常gydF4y2Ba通过gydF4y2Ba平均加权函数。gydF4y2Ba

这种转变使得编码更紧凑格式的装饰图案而不是一个常数分辨率很低计算成本(gydF4y2Ba哈维尔·特拉弗贝纳迪诺,2010gydF4y2Ba)。在移动机器人技术,依靠log-polar转换提供了健壮性小外观的变化引起的地标的小变化的角度来看,当机器人动作,如之前所示室内和越野体验(gydF4y2BaJoulain et al ., 1997gydF4y2Ba;gydF4y2BaGiovannangeli et al ., 2006 bgydF4y2Ba;gydF4y2BaBelkaid et al ., 2016gydF4y2Ba)。gydF4y2Ba

4.4方位角计算和编码gydF4y2Ba

的处理gydF4y2Ba在哪里gydF4y2Ba执行(或空间签名)的信息gydF4y2Ba方位角计算gydF4y2Ba和gydF4y2Ba方位编码gydF4y2Ba模块。它对应于具有里程碑意义的绝对定向,根据一个固定的参考(如磁北)。这些信息可以在形式的头部方向下的大脑细胞,神经元激活当动物将它的头在一个特定的方向。需要注意,绝对引用的地方建立一个allothetic表示独立于当前车辆的定位,例如,检索的北方向磁罗经。为了简单起见,定位信息在这个工作是来自车辆日志的数据集。但是为了只处理视觉形态,方向也可以来源于视觉输入的信息gydF4y2Ba通过gydF4y2Ba一个视觉指南针(gydF4y2BaGourichon et al ., 2003gydF4y2Ba;gydF4y2BaDelarboulas et al ., 2014gydF4y2Ba)。gydF4y2Ba

计算出方位角gydF4y2Ba ${\mathrm{\theta gydF4y2Ba}}_{\mathrm{lgydF4y2Ba}}^{\mathrm{ngydF4y2Ba}\mathrm{ogydF4y2Ba}\mathrm{rgydF4y2Ba}\mathrm{tgydF4y2Ba}\mathrm{hgydF4y2Ba}}$ 的一个里程碑,系统变化的绝对角度gydF4y2Ba ${\mathrm{\theta gydF4y2Ba}}_{\mathrm{VgydF4y2Ba}\mathrm{egydF4y2Ba}\mathrm{hgydF4y2Ba}\mathrm{我gydF4y2Ba}\mathrm{cgydF4y2Ba}\mathrm{lgydF4y2Ba}\mathrm{egydF4y2Ba}}^{\mathrm{ngydF4y2Ba}\mathrm{ogydF4y2Ba}\mathrm{rgydF4y2Ba}\mathrm{tgydF4y2Ba}\mathrm{hgydF4y2Ba}}$ 关于磁北gydF4y2Ba^3gydF4y2BaPOI的角度计算的自我中心的参照系,即。相对于图像的中心。gydF4y2Ba ${\mathrm{\theta gydF4y2Ba}}_{\mathrm{pgydF4y2Ba}\mathrm{ogydF4y2Ba}\mathrm{我gydF4y2Ba}}^{\mathrm{egydF4y2Ba}\mathrm{ggydF4y2Ba}\mathrm{ogydF4y2Ba}}$ 计算的函数gydF4y2BaxgydF4y2Ba具有里程碑意义的图像的水平位置gydF4y2Ba我gydF4y2Ba尺寸(gydF4y2BaDgydF4y2Ba_wgydF4y2Ba×gydF4y2BaDgydF4y2Ba_hgydF4y2Ba)和视野的宽度(FOV)gydF4y2BaθgydF4y2Ba_{视场gydF4y2Ba}。gydF4y2Ba

然后,这些信息被编码在PlgydF4y2Ba^{一个gydF4y2Ba}层神经元的人口(gydF4y2Ba乔治欧普罗斯et al ., 1988gydF4y2Ba),一个泡沫的神经结构的活动集中出现神经元编码的具有里程碑意义的方位角。更准确地说,它的每个gydF4y2BaNgydF4y2Ba_{一个gydF4y2Ba}神经元展品最大响应首选的方位角。他们的活动然后衰减指数的函数之间的角距离他们的易磁化方向的方位角目前观察到的具有里程碑意义的:gydF4y2Ba

在哪里gydF4y2Ba $\mathrm{PgydF4y2Ba}{\mathrm{lgydF4y2Ba}}_{\mathrm{jgydF4y2Ba}}^{\mathrm{一个gydF4y2Ba}}$ 的活动吗gydF4y2BajgydF4y2Ba在方位层神经元gydF4y2Ba一个gydF4y2Ba和gydF4y2BaσgydF4y2Ba_{azimgydF4y2Ba}是高斯分布的标准偏差。gydF4y2Ba

4.5赢家内存层gydF4y2Ba

LPMP模型需要使用两个地标记忆存储log-polar代码(里程碑式的记忆,gydF4y2Ba图3gydF4y2Ba)和Max-Pi层的活动(内存,gydF4y2Ba图3gydF4y2Ba)。gydF4y2Ba

在目前的配方,LPMP模型使用一个WM (gydF4y2Ba埃斯帕达et al ., 2019gydF4y2Ba的内存),一个简单的神经模型允许向量的数据存储在一个迭代。使用一次性学习的关键之一是模型的有效性,作为一个特色的一个关键属性的动物(的记忆gydF4y2Ba李et al ., 2015gydF4y2Ba)。从功能的角度来看,网络商店直接在这些神经元的权重的一组数据,每一个神经元不同信号,从而导致一个强大的减少输出。gydF4y2Ba

这种记忆有这样两个优点:gydF4y2Ba

•学习在一个迭代向量(例如,log-polar里程碑式的代码),允许快速学习不需要训练的(只有一次的学习原则)。gydF4y2Ba

•它允许应用过滤的一种形式的阅读记忆只允许最强的神经元表达自己(竞争原则)。gydF4y2Ba

从结构的角度来看,一个WM网络组成gydF4y2BaNgydF4y2Ba_总gydF4y2Ba神经元与gydF4y2BaugydF4y2Ba学会了神经元,gydF4y2BaNgydF4y2Ba_总gydF4y2Ba−gydF4y2BaugydF4y2Ba可用的神经元(即。,零权重gydF4y2Ba^4gydF4y2Ba)。记录一个新的条目,一个学习信号gydF4y2BaλgydF4y2Ba_我gydF4y2Ba(gydF4y2BatgydF4y2Ba)被发送到网络,节省信息直接下一个可用的神经元的权重gydF4y2BaugydF4y2Ba。因此,一个神经元的更新公式gydF4y2Ba我gydF4y2Ba∈(0,gydF4y2BaNgydF4y2Ba_总gydF4y2Ba−1]当学习模式gydF4y2BadgydF4y2Ba的大小gydF4y2BaNgydF4y2Ba_dgydF4y2Ba可以写成:gydF4y2Ba

与gydF4y2BawgydF4y2Ba_{我gydF4y2Ba,gydF4y2BajgydF4y2Ba}矩阵的WM和重量gydF4y2BadgydF4y2Ba_jgydF4y2Ba的gydF4y2BajgydF4y2Bath元素gydF4y2BadgydF4y2Ba。gydF4y2Ba

两个步骤是必要的来计算最终的WM活动:比较步骤,每个神经元代表的活动程度的相似度(距离)的学习模式与输入gydF4y2BadgydF4y2Ba,和竞争对手一步,只有最活跃的神经元保持活跃。计算一个神经元的活动,gydF4y2Ba我gydF4y2Ba之前,竞争是写成:gydF4y2Ba

与gydF4y2BahgydF4y2Ba(gydF4y2BawgydF4y2Ba_ijgydF4y2Ba,gydF4y2BadgydF4y2Ba_jgydF4y2Ba(gydF4y2BatgydF4y2Ba))=为gydF4y2BawgydF4y2Ba_ijgydF4y2Ba−gydF4y2BadgydF4y2Ba_jgydF4y2Ba(gydF4y2BatgydF4y2Ba为每一个数据之间的欧氏距离gydF4y2BadgydF4y2Ba和的重量gydF4y2Ba我gydF4y2Ba神经元。gydF4y2BaKgydF4y2Ba_1gydF4y2Ba(gydF4y2Ba7情商。gydF4y2Ba)是基于标准化因素激活权重的数量,即。所表达的,重量大于一个活动阈值不变gydF4y2BakgydF4y2Ba_1gydF4y2Ba。在这个方程,重量不到gydF4y2BakgydF4y2Ba_1gydF4y2Ba被排除在外跳过输入和体重之间的距离计算,这将导致一个无关紧要的(小)活动。一个神经元gydF4y2Ba我gydF4y2Ba因此,最大活动模式时接近它的重量。的实现gydF4y2Ba $\stackrel{̂gydF4y2Ba}{\mathrm{年代gydF4y2Ba}}(gydF4y2Ba\mathrm{tgydF4y2Ba})gydF4y2Ba$ 在WM提出了计算gydF4y2Ba算法2gydF4y2Ba。gydF4y2Ba

此外,有几种方法可以执行在WM竞争。在我们的例子中,我们选择使用一个只有基本的竞争机制gydF4y2BaNgydF4y2Ba_wgydF4y2Ba神经元中表达最高的活动最终的活动gydF4y2Ba ${\mathrm{年代gydF4y2Ba}}_{\mathrm{我gydF4y2Ba}}(gydF4y2Ba\mathrm{tgydF4y2Ba})gydF4y2Ba=gydF4y2Ba\mathrm{cgydF4y2Ba}(gydF4y2Ba\stackrel{̂gydF4y2Ba}{{\mathrm{年代gydF4y2Ba}}_{\mathrm{我gydF4y2Ba}}}(gydF4y2Ba\mathrm{tgydF4y2Ba})gydF4y2Ba,gydF4y2Ba{\mathrm{NgydF4y2Ba}}_{\mathrm{wgydF4y2Ba}})gydF4y2Ba$ 与gydF4y2BacgydF4y2Ba随着竞争功能。gydF4y2Ba

算法2gydF4y2Ba计算gydF4y2Ba $\stackrel{̂gydF4y2Ba}{\mathrm{年代gydF4y2Ba}}(gydF4y2Ba\mathrm{tgydF4y2Ba})gydF4y2Ba$ 在WM。gydF4y2Ba

4.6 Max-Pi层gydF4y2Ba

Max-Pi层(MPL)是一种神经结构用于LPMP模型合并和整合信息来自gydF4y2Ba方位编码gydF4y2Ba块和gydF4y2Ba地标的记忆gydF4y2Ba块期间(见图片gydF4y2Ba图3gydF4y2Ba)。这个神经元层,一个二维矩阵的形式,由Max-Pi单位,具体的神经元的单位,因为他们的连接、执行三个处理操作:马克斯池、合并gydF4y2Ba通过gydF4y2Ba产品和颞集成(见gydF4y2Ba图5gydF4y2Ba)。gydF4y2Ba

描述的操作实现MPL,让我们考虑一个矩阵gydF4y2BaxgydF4y2Ba组成的gydF4y2BaNgydF4y2Ba_{一个′gydF4y2Ba}×gydF4y2BaNgydF4y2Ba_{b′gydF4y2Ba}Max-Pi单位,两个神经元的向量,gydF4y2Ba一个gydF4y2Ba的大小gydF4y2BaNgydF4y2Ba_{一个gydF4y2Ba}和gydF4y2BabgydF4y2Ba的大小gydF4y2BaNgydF4y2Ba_bgydF4y2Ba。然后,神经元的活动gydF4y2BaxgydF4y2Ba_{我gydF4y2Ba,gydF4y2BajgydF4y2Ba}(gydF4y2Ba我gydF4y2Bath行和gydF4y2BajgydF4y2Ba列)产生的向量gydF4y2Ba一个gydF4y2Ba和gydF4y2BabgydF4y2Ba在时间gydF4y2BatgydF4y2Ba可以表示为:gydF4y2Ba

在这个方程中,第一项允许积累的活动gydF4y2BaxgydF4y2Ba_{我gydF4y2Ba,gydF4y2BajgydF4y2Ba}随着时间的推移。这个函数gydF4y2BaRgydF4y2Ba(gydF4y2BatgydF4y2Ba)是一个二进制信号,允许删除的内容矩阵(通常在处理图像中的所有PoIs)。第二项表达了马克斯融合gydF4y2Ba一个gydF4y2Ba和gydF4y2BabgydF4y2Ba。因此,每个神经元在这个矩阵合并gydF4y2BargydF4y2Ba_{一个gydF4y2Ba}和gydF4y2BargydF4y2Ba_bgydF4y2Ba神经元,可表现的gydF4y2Ba ${\mathrm{rgydF4y2Ba}}_{\mathrm{一个gydF4y2Ba}}=gydF4y2Ba\frac{{\mathrm{NgydF4y2Ba}}_{\mathrm{一个gydF4y2Ba}}}{{\mathrm{NgydF4y2Ba}}_{{\mathrm{一个gydF4y2Ba}}^{\prime gydF4y2Ba}}}$ 为gydF4y2Ba一个gydF4y2Ba和gydF4y2Ba ${\mathrm{rgydF4y2Ba}}_{\mathrm{bgydF4y2Ba}}=gydF4y2Ba\frac{{\mathrm{NgydF4y2Ba}}_{\mathrm{bgydF4y2Ba}}}{{\mathrm{NgydF4y2Ba}}_{{\mathrm{bgydF4y2Ba}}^{\prime gydF4y2Ba}}}$ 为gydF4y2BabgydF4y2Ba。gydF4y2Ba

MPL是受大脑皮层的功能列,由Sigma-Pi单位(更具体地说,gydF4y2Ba梅尔·科赫,1990gydF4y2Ba;gydF4y2Ba板,2000gydF4y2Ba),神经元结构执行处理接近Max-Pi单位之一。这两个结构的本质区别是,Sigma-Pi单元实现的乘法群神经元(称为pi-neurons),其中Max-Pi单元,而使用一个池,后跟一个乘法公式,这是更容易管理从计算的观点。gydF4y2Ba

在LPMP模型中,向量的维数gydF4y2BabgydF4y2Ba,即,的WM^lgydF4y2Ba层,变化的执行模型。的确,地标的数量发展LPMP模型记忆新的地点。因此,当一个新的地标添加在WMgydF4y2Ba^lgydF4y2Ba,一个新列的神经元是MPL招募。通过这种方式,新的里程碑式的集成到活动的MPL矩阵,这就能够编码丰富的地方。gydF4y2Ba

MPL是使用一个中间max-pooling层来实现节省计算成本,中描述gydF4y2Ba算法3gydF4y2Ba。gydF4y2Ba

算法3gydF4y2Ba计算Max-Pi活动。gydF4y2Ba

4.7新奇探测器和LPMP +中收取gydF4y2Ba

的gydF4y2Ba新奇的探测器gydF4y2Ba允许自动控制模型的学习信号以生成一个表示环境以一种无监督的方式。这种机制是灵感来自于艺术(自适应共振理论)模型(gydF4y2Ba木匠et al ., 1991gydF4y2Ba),神经科学的一个重要模型,解释了大脑可以自主学习分类信息在一个动态的世界。gydF4y2Ba

学习信号触发,新奇探测器只是检查是否识别水平的当前位置,由WM的最高价值gydF4y2Ba^pgydF4y2Ba,低于一个常数,称为gydF4y2Ba警戒阈值gydF4y2Ba。由于这个系统,LPMP模型生成一个不规则的代表一个环境,适应其复杂性(gydF4y2Ba埃斯帕达et al ., 2019gydF4y2Ba)。因此,这样一个系统可以减少代表的环境成本gydF4y2Ba^5gydF4y2Ba或提高定位的性能,特别是在复杂的需要一个强大的采样序列的。gydF4y2Ba

保持学习的一致性表示,模型依赖于相同的和单一的信号触发的学习一个新地方在WMgydF4y2Ba^pgydF4y2Ba和相应的学习在WM地标gydF4y2Ba^lgydF4y2Ba。gydF4y2Ba

5实验gydF4y2Ba

5.1数据集gydF4y2Ba

LPMP的性能评估模型,我们决定使用牛津汽车数据集(gydF4y2BaMaddern et al ., 2017gydF4y2Ba;gydF4y2BaMaddern et al ., 2020gydF4y2Ba),最近的一次无人驾驶汽车数据集用于冲程体积模型。这个数据集是由一百年的记录超过9公里的牛津和各种各样的条件下提供轨迹如季节、天气和交通。由于其非常大的大小,数据集通常是削减用于冲程体积的评价系统(gydF4y2Ba加戈et al ., 2018gydF4y2Ba;gydF4y2Ba解决et al ., 2018gydF4y2Ba;gydF4y2BaChancan米尔福德,2020gydF4y2Ba;gydF4y2Ba潘et al ., 2020gydF4y2Ba)。虽然一些论文提出的结果在这个数据集,其中的一些显示哪些数据集的子集,gydF4y2Ba^6gydF4y2Ba要求我们提出我们自己的测试基准。gydF4y2Ba

在本文中,我们决定比较模型的性能根据环境的类型。四个“路线”(由四个轨迹/录音;见下文)提取从整个数据集,通过四个不同类型的环境:gydF4y2Ba城市中心gydF4y2Ba,gydF4y2Ba郊区gydF4y2Ba,gydF4y2Ba大道gydF4y2Ba,gydF4y2Ba森林gydF4y2Ba(见gydF4y2Ba图6gydF4y2Ba)。一直特别注意采取可能的最长序列呈现一个良好定义的环境,如下图(见gydF4y2Ba图6gydF4y2Ba)。gydF4y2Ba

对于每一个路线,四个记录在不同的时间选择,因此提出了。什么是可用的,录音包括不同层次的人类活动,使测试不同的算法的鲁棒性。测量这个活动,有人知道由罗,我们使用一个图像分类算法(gydF4y2BaRedmon et al ., 2016gydF4y2Ba),自动计算车辆和行人的数量。gydF4y2Ba

不同的录音被选为了类似的记录,即。,与我dent我c一个ltr一个jectories and without sensor problems (many sequences had to be eliminated because of GPS problems). Moreover, the sequences were chosen under equal weather and seasonal conditions in order to focus our analysis only on the localization performance achieved in the different environments.表1gydF4y2Ba提出了保留序列。我们的评估使用的数据集表示大约10公里的轨迹从原始牛津汽车数据集。gydF4y2Ba

5.2评价方法gydF4y2Ba

实验在本文遵循一个标准过程进行识别评估(gydF4y2Ba解决et al ., 2018gydF4y2Ba)在两个标准:定位性能和计算性能。gydF4y2Ba

5.2.1定位性能gydF4y2Ba

获得可靠的结果,我们决定执行交叉验证的实验环境。因此,对于一个实验中,两个轨迹相同环境的选择和处理四个阶段:gydF4y2Ba

•学习环境:一个轨迹(的图像gydF4y2Ba学习轨迹gydF4y2Ba)二次抽样样品每gydF4y2BadgydF4y2Ba_{桑普gydF4y2Ba}计和使用的模型来构建其表示的空间。gydF4y2Ba

•查询组:一组gydF4y2BaNgydF4y2Ba_{查询gydF4y2Ba}图片是第二个轨迹(随机选择gydF4y2Ba测试轨迹gydF4y2Ba),提出了模型。在本文中,我们选择使用一个gydF4y2BaNgydF4y2Ba_{查询gydF4y2Ba}代表25%的测试轨迹。gydF4y2Ba^7gydF4y2Ba

•假设建设:为每个查询,系统返回的索引图像被认为是最接近请求(假设)。gydF4y2Ba

•查询评估:冲程体积模型的答案的质量评估通过计算查询的GPS坐标之间的距离是否最好的假设和GPS坐标小于一个阈值,gydF4y2BadgydF4y2Ba_{犯错gydF4y2Ba}。gydF4y2Ba

我们因此选择测量的性能模型使用三种采样距离2,5,10 m。因此,为每一个环境中,36个实验覆盖了不同的采样距离和所有可能的学习和测试轨道配置。gydF4y2Ba

我们使用一个错误阈值等于一半的采样距离(完美的位置)和15%的公差,如gydF4y2BadgydF4y2Ba_{犯错gydF4y2Ba}=gydF4y2BadgydF4y2Ba_{桑普gydF4y2Ba}×0.65。该方法建立的情况下积极的位置空间的大小gydF4y2BadgydF4y2Ba_{桑普gydF4y2Ba},以协调的地方两边的公差为15%。gydF4y2Ba

5.2.2计算成本gydF4y2Ba

计算成本评估通过测量每个模型需要平均计算时间来回答查询的函数的位置。模型评估与控制数量的cpu和GPU尽可能限制(尽管不是全部)代码优化每个模型的影响。gydF4y2Ba

5.2.3与艺术的状态进行比较gydF4y2Ba

LPMP模型比较的两个主要模型状态的艺术:CoHog,手工制作的功能模型(gydF4y2BaZaffar et al ., 2020 bgydF4y2Ba),NetVLAD, CNN模型(gydF4y2BaArandjelovićet al ., 2016gydF4y2Ba)。这两个模型都是在各自领域,表现最好的本地化(见评审任务gydF4y2BaZaffar et al ., 2020 agydF4y2Ba)。gydF4y2Ba

应该注意,LPMP模型,与NetVlad和CoHog模型,利用车辆的绝对定向编码一个地方。为了简单起见,这个信息是直接获得gydF4y2Ba通过gydF4y2Ba磁罗经集成在无人驾驶车辆。然而,就可以使用一个视觉指南针,在前一个工作(gydF4y2BaDelarboulas et al ., 2014gydF4y2Ba)。gydF4y2Ba

5.2.4评价LPMP +中收取gydF4y2Ba

中收取LPMP +版本,提出测试管道由于警戒系统不能直接使用。空间神经元被遍历序列自动生成的,因此构建一个神经的环境地图,即。,由地方细胞与变量字段的大小(见的地方gydF4y2Ba图7gydF4y2Ba)自学习一个新地方只取决于多少场景的视觉外观不同。这non-regularity铺平很难产生的一个现实的评估模型,不处罚或对获得的分数。gydF4y2Ba

为了解决这个问题,我们提出了RLE方法(Replay-Learn评价)的大小来估计空间编码的模型。方法的想法是重播学习序列在模型学习(在一个阶段称为评价),图像通过图像,神经元被激活。gydF4y2Ba

因此,RLE方法分为三个阶段:gydF4y2Ba

•探索性步骤:神经元学习顺序加工轨迹数字1的时候,根据识别阈值集。由于因果性质的学习过程,只有一半的每个地方字段可以计算在这个阶段(神经元的回答一次了)。但是一旦学会了,每个神经元也可以回应前帧一个用于学习(上半年的字段)。gydF4y2Ba

•记录步骤:一旦轨道1号完成,重播这完整的字段可以为每个神经元计算,了解一个地方。gydF4y2Ba

•测量步骤:正如前面描述的方法,第二个处理轨迹测量定位性能,同时进行识别。第二轨道轨迹1路一样,但是在不同的时刻,而不是在完全相同的GPS坐标。gydF4y2Ba

因此,这种方法允许将一个神经元与轨迹的部分(gydF4y2Ba图7gydF4y2Ba)。这些空间可以用来精确确定的质量定位通过比较他们在记录神经元的活动步骤。gydF4y2Ba

此外,获得与算法没有警觉的循环,我们一致的结果根据采样率和平均大小字段生成的地方。此方法需要探索一些警戒值找到方法所需的采样率值的值。gydF4y2Ba

5.3指标gydF4y2Ba

评估不同的性能模型,我们使用标准精度/召回测量,总结了曲线下的面积(auc)和召回在100%精度(gydF4y2Ba解决et al ., 2018gydF4y2Ba)。进行大量的测试本文实验(576)迫使我们向平均显示,反映平均表现并不是最好的可能的值。gydF4y2Ba

5.4实现细节gydF4y2Ba

CoHog与NetVLAD,我们使用了原始作者在python中实现和参数。NetVLAD网络,我们用最好的pre-trained作者提出的模型(VGG-16 + NetVLAD +美白),匹兹堡训练数据集,认为给竞争非常激烈的结果冲程体积问题(gydF4y2BaArandjelovićet al ., 2018gydF4y2Ba)(见gydF4y2BaZaffar et al . (2020gydF4y2Ba),gydF4y2BaZhang et al . (2021gydF4y2Ba更多的细节)。gydF4y2Ba

中使用的参数LPMP是LPMP的参考实现(gydF4y2Ba埃斯帕达et al ., 2019gydF4y2Ba),并给出了gydF4y2Ba表2gydF4y2Ba。感兴趣的区域(ROI)被添加到所有的系统测试(LPMP、CoHog NetVLAD)清除人行道上的一部分,携带信息。这种治疗的优势已经完成所有模型为了平等。gydF4y2Ba

性能实验进行了使用AMD Ryzen Threadripper 2990天气(3.7 GHz)。实验计算成本进行了使用英特尔酷睿19 - 9880 h (2.3 Ghz)。gydF4y2Ba

6的结果gydF4y2Ba

6.1评价与LPMP定位性能gydF4y2Ba

图8gydF4y2Ba显示的平均性能LPMP LPMP +中收取,CoHog, NetVLAD根据采样率和环境的地方。因此,图gydF4y2Ba图8 a - cgydF4y2Ba目前的平均AUC precision-recall曲线根据每个环境和采样率。的图gydF4y2Ba图8 d-fgydF4y2Ba显示的回忆在100%精度precision-recall AUC测量曲线和作为补充。由于交叉验证方法的应用,因此每个值提出了12个值的平均值计算precision-recall曲线覆盖每一个可能的组合的学习环境和采样率/测试序列。gydF4y2Ba

所示gydF4y2Ba图8 a - cgydF4y2Ba,LPMP模型,在大多数测试,意味着AUC值高于CoHog和NetVLAD:平均比CoHog更有效率6%,4%比NetVLAD更好。可以看到两种情况的LPMP模型没有提供最好的结果:gydF4y2Ba城市中心gydF4y2Ba环境采样率的地方5米(见图gydF4y2Ba图8 bgydF4y2Ba)和gydF4y2Ba郊区gydF4y2Ba环境采样率的地方10米(见图gydF4y2Ba图8 cgydF4y2Ba)。gydF4y2Ba

其次,图gydF4y2Ba图8 d-fgydF4y2Ba现在类似的结果意味着回忆100%:平均LPMP召回在100%平均比NetVLAD比CoHog 10%和13%。模型没有给上最好的结果gydF4y2Ba郊区gydF4y2Ba环境(图gydF4y2Ba图8 fgydF4y2Ba)。gydF4y2Ba

CoHog,第三,我们可以注意到LPMP和NetVLAD遵循一个共同的动力定位性能的环境:在所有学习样本大小,这三个模型提供了最佳的性能gydF4y2Ba城市中心gydF4y2Ba,紧随其后的是gydF4y2Ba森林gydF4y2Ba和gydF4y2Ba郊区gydF4y2Ba和gydF4y2Ba大道gydF4y2Ba,似乎是特别困难的冲程体积模型与一个固定的采样率。例如,图gydF4y2Ba图8 bgydF4y2Ba表明LPMP、CoHog NetVLAD一起给平均auc为0.935gydF4y2Ba城市中心gydF4y2Ba,0.897gydF4y2Ba森林gydF4y2Ba,0.768gydF4y2Ba大道gydF4y2Ba,0.849gydF4y2Ba郊区gydF4y2Ba,证实了这一趋势。gydF4y2Ba

这种差异可以解释的更丰富的视觉信息gydF4y2Ba郊区gydF4y2Ba,gydF4y2Ba城市中心gydF4y2Ba,gydF4y2Ba森林gydF4y2Ba环境比gydF4y2Ba大道gydF4y2Ba环境,哪个更单调,因此很难精确描述。的图gydF4y2Ba图8 d-fgydF4y2Ba证实这一趋势,差异,得到了最好的回忆gydF4y2Ba森林gydF4y2Ba而不是gydF4y2Ba城市中心gydF4y2Ba。gydF4y2Ba

6.2评价定位性能LPMP +中收取gydF4y2Ba

所示的gydF4y2Ba图8 a - cgydF4y2Ba中收取,LPMP +模型给更好的性能比LPMP CoHog, NetVLAD高采样率。因此,LPMP +中收取改善LPMP平均20%的性能图gydF4y2Ba图8gydF4y2Ba(最大提高70%的性能gydF4y2Ba大道gydF4y2Ba),这表明冲程体积模型可以受益于使用警惕系统在考虑高采样率。gydF4y2Ba

实际上,使用警戒系统允许创建地方根据环境的丰富性,这限制了类似的地方产生一个动态的学习铺平道路,从而限制了冗余环境中表示。这个增益性能,然而,与较低的地方取样,消失在图可见gydF4y2Ba图8 b, CgydF4y2Ba。在这种情况下,警惕系统创建神经元,代码更大的空间,造成损失的精度,降低了性能。gydF4y2Ba

其次,一个人可以注意到LPMP +中收取模型相比有不同的动态环境模型基于定期采样,展示其最好的结果gydF4y2Ba大道gydF4y2Ba,然后在gydF4y2Ba城市中心gydF4y2Ba,gydF4y2Ba森林gydF4y2Ba,gydF4y2Ba郊区gydF4y2Ba。事实上,LPMP +中收取模型仍然在所有采样效率gydF4y2Ba大道gydF4y2Ba环境,相反gydF4y2Ba郊区gydF4y2Ba环境中定位性能下降很快。gydF4y2Ba

这一现象可以解释为远端和近端地标的比例在视野,根据不同的环境。当车辆移动,地标性建筑的外观变化取决于他们与汽车之间的距离。事实上,远端地标建筑的视觉外观变化小于,近端。gydF4y2Ba

此外,远端地标的存在相关的开放视野所提供的不同的环境。事实上,gydF4y2Ba大道gydF4y2Ba环境的特点是一个更加开放的FOV比gydF4y2Ba郊区gydF4y2Ba环境。因此,既然可以找到足够数量的远端地标gydF4y2Ba大道gydF4y2Ba序列,LPMP +中收取的识别模型可以表现出一个稳定的水平,导致铺平道路的环境,允许更好的定位性能。gydF4y2Ba

相反,在gydF4y2Ba狭窄的郊区gydF4y2Ba环境中,视场限制的存在更紧密的元素(建筑物、车辆等)。这些众多的近端地标的存在导致强烈的识别水平的变化,使环境的自动铺平道路更难以实现。这个结果与之前的研究一致KITTI这个模型的数据集(gydF4y2Ba埃斯帕达et al ., 2019gydF4y2Ba)。gydF4y2Ba

6.3警戒系统的动力学gydF4y2Ba

新奇探测器提出了LPMP +控制中收取gydF4y2BavgydF4y2Ba警戒阈值。事实上,这个值控制的大小位置字段,见的两个图表gydF4y2Ba图9gydF4y2Ba:编码一个给定的轨迹长度、警惕性越高,使用的神经元数量增加为了维持足够的识别水平。这也增加神经元的数量减少的平均空间由一个神经元编码序列。gydF4y2Ba

图9gydF4y2Ba介绍了神经元产生的平均数量超过100的四种类型环境使用的警戒阈值的函数。它表明,gydF4y2Ba森林gydF4y2Ba,gydF4y2Ba城市中心gydF4y2Ba,gydF4y2Ba郊区gydF4y2Ba环境需要更多神经元平均保持同等水平的认可。100米的轨迹gydF4y2Ba森林gydF4y2Ba环境需要20多神经元gydF4y2Ba大道gydF4y2Ba和5个神经元的多gydF4y2Ba城市中心gydF4y2Ba和gydF4y2Ba郊区gydF4y2Ba环境。gydF4y2Ba

图9 cgydF4y2Ba完成这个分析通过展示空间的平均大小和标准偏差由神经元编码/环境(现场绘制在虚线)。它显示了两个现象:首先,gydF4y2Ba大道gydF4y2Ba环境中,神经元的平均空间平均比的gydF4y2Ba城市中心gydF4y2Ba,gydF4y2Ba森林gydF4y2Ba,gydF4y2Ba郊区gydF4y2Ba环境,符合gydF4y2Ba图9gydF4y2Ba。其次,标准偏差更大gydF4y2Ba大道gydF4y2Ba比在其他环境中,表明LPMP +中收取模型更好的推广gydF4y2Ba^8gydF4y2Ba系统学习,多亏了足够数量的远端地标的视野。结果与性能结果一致,这表明LPMP +中收取模型给出更好的结果gydF4y2Ba大道gydF4y2Ba比gydF4y2Ba郊区gydF4y2Ba。gydF4y2Ba

6.4评价的计算成本gydF4y2Ba

图10gydF4y2Ba显示的平均频率LPMP LPMP +中收取,CoHog, NetVLAD回答定位查询,根据学习的地方。图显示LPMP模型时最快的位置低于30的数量,然后迅速减慢,直到它几乎达到NetVLAD模型使用4 cpu的性能。然而,它仍然是优于NetVLAD模型在一个CPU,平均0.05赫兹的频率运行。gydF4y2Ba

动态图10可以解释为记忆编码和成本使用log-polar变换编码的视觉信息。首先,在当前版本的模型,视觉地标系统存储,没有一个合并的过程附近的地标。使用的内存LPMP因此变得很快大,降低计算时间。应该注意的是,该模型仍高于NetVLAD在计算时间,采用4个cpu。gydF4y2Ba

其次,log-polar变换计算的速度很快,不像NetVLAD提出的编码方法和CoHog这花了更多的时间和计算资源。因此,对于小的内存请求,LPMP模型是自然的速度在一个CPU。log-polar,主要是为了robustify系统对小外观变更引起的运动车辆,但并不打算执行有效的视觉信息压缩。因此,地标的代码很快就会变得非常大,需要较长的计算时间,这需要在编码速度快。gydF4y2Ba

7讨论gydF4y2Ba

本文的定位性能LPMP模型,仿生设计的神经网络来研究动物导航(gydF4y2BaGaussier Zrehen, 1995gydF4y2Ba),在道路环境评估。通常远离小和控制环境用于繁殖在动物身上进行的实验,这项工作强调了这样一个neuromimetic方法的利益当它应用于道路环境,以更大的和更有活力的(人类活动的)环境。模型从而评估定位性能和计算时间,在交叉验证选择序列的牛津汽车数据集,提出四种不同的环境与各种城市活动的水平。gydF4y2Ba

首先,关于定位性能,结果表明,LPMP模型比直接竞争对手更有效率,CoHog,最好的无监督模式可用在文献(gydF4y2BaZaffar et al ., 2020 agydF4y2Ba)。最好把答案在大多数环境和采样率对大多数地方,无论人类活动的数据集的存在。此外,尽管它不需要任何训练,与NetVLAD LPMP还给了竞争的结果,是表现CNN模型之一。gydF4y2Ba

这些结果显示的利益只有一次的学习机制和空间位置的使用领域的具有里程碑意义的冲程体积。一次性学习机制允许模型来学习一个新位置的准确表示在一个迭代,使系统达到高定位的分数。此外,使用的空间位置具有里程碑意义的改善模型的性能,以较低的成本,以及其他算法可能会从中受益。应该注意的是,此信息可以从图像中提取使用视觉罗盘(gydF4y2BaDelarboulas et al ., 2014gydF4y2Ba),而不是一个磁场。gydF4y2Ba

中收取LPMP +模型,结果表明,使用新奇探测器给地方采样率高的更好的结果比其他模型,强调视觉导航的警戒系统的利益。警惕在小范围内可以循环的使用将有可能减少混淆代码的地方,因为他们不是基于抽样创建,但基于的整体识别系统。然而,LPMP +中收取的性能恶化的一个采样率大于5米的地方。这种退化是由地方的大小字段的神经元,5米以上,可能是太大,以确保完美的本地化。解决这个问题将是适应学习表示循环期间关闭调整存储的地方。gydF4y2Ba

实验也揭示了一些重要属性固有的新奇探测器的使用机制。因此,在先前的研究(gydF4y2BaCuperlier 2007gydF4y2Ba;gydF4y2Ba埃斯帕达et al ., 2019gydF4y2Ba),位置字段生成的平均大小取决于两个参数:警惕阈值的值和类型的环境。这种变异细胞动力学表明,某些环境中更困难的过程,需要更多的神经元维持一个给定水平的认可。一个解决方案可以适应在线警戒值根据类型的环境为了获得最好的识别性能。gydF4y2Ba

其次,对于频率通过LPMP模型,实验表明,模型的性能下降的位置学到的模型。两个原因可以解释这种现象:越来越多的神经元需要代码大小的地标和log-polar代码中使用的模型。gydF4y2Ba

第一点,当前版本的模型的主要缺点是,它系统地招募新的神经元学习的视觉签名地标当学到了一个新的地方,不管事实非常接近签名之前可能已经学会了。因此,系统创建更多不必要的地标,减少LPMP模型的计算频率。因此可能几个解决方案,例如学习的神经元信号编码的失调的地方的学习具有里程碑意义的签名,允许减少地标。事实上,只有在需要时他们会学,即。,我fnoneuron already codes for the signature, instead of forcing the learning of the current signature as soon as a new neuron must code for a new place.

第二,提出的模型版本不压缩前的视觉信息存储在具有里程碑意义的记忆。具有里程碑意义的代码是相当大的(54×54),增加了计算时间的里程碑式的记忆。因此,工作已开展开发视觉信息表示的稀疏模型(称为HSD + MP)为了提高LPMP模型的性能,同时降低其计算成本(gydF4y2Ba科罗姆et al ., 2021gydF4y2Ba)。gydF4y2Ba

计算性能,然而,将模型的并行使用,大满贯架构适应得很好。事实上,在许多模型,定位分为两种情况:全球在地图上定位,定位在亏损的情况下,当地的本地化知道最后一个位置(gydF4y2BaMur-Artal et al ., 2015gydF4y2Ba)。LPMP等因此,一个模型,这是非常快的运行数量减少的地方但精度高,使更好的性能似乎非常合适的在这种情况下。gydF4y2Ba

此外,从实现的角度,应该指出的是,实验发现与LPMP模型是基于轻轻优化软件的实现。增加有待设想通过改善软件的实现,特别是通过使用代码优化CoHog或NetVlad。例如,切换到一个并行代码将维护的性能LPMP模型更多的地方。一个特别先进的硬件实现,更适合仿生神经结构,研究了异构并行硬件解决方案的当前工作(gydF4y2BaElouaret et al ., 2019gydF4y2Ba)。gydF4y2Ba

最后,从神经生物学的角度来看,这种模式所产生的空间神经元活动属性接近展出gydF4y2Ba空间视图gydF4y2Ba细胞比gydF4y2Ba的地方gydF4y2Ba细胞。这和我们之前的发现是一致的室内导航(gydF4y2BaGaussier et al ., 2002gydF4y2Ba),证实了在室外环境中,假设的差异可能是由于视场的大小(宽度)。相同的模型,用于机器人设置固定相机,结果在空间视图细胞,而当镜头可以抓住全景,模型生成细胞接近全向地方领域表现出的细胞。gydF4y2Ba

数据可用性声明gydF4y2Ba

公开的数据集进行分析。这些数据可以在这里找到:gydF4y2Bahttps://robotcar-dataset.robots.ox.ac.uk/gydF4y2Ba。gydF4y2Ba

作者的贡献gydF4y2Ba

SC写论文并进行实验。GB和数控参与论文的写作和纠正它。GB和数控监督博士。PG LPMP模型而设计的。还是论文导演。gydF4y2Ba

的利益冲突gydF4y2Ba

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。gydF4y2Ba

出版商的注意gydF4y2Ba

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或那些出版商编辑和评论员。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。gydF4y2Ba

脚注gydF4y2Ba

^1gydF4y2Ba可获得的信息从磁罗盘或视觉(gydF4y2BaGiovannangeli Gaussier, 2007gydF4y2Ba)。gydF4y2Ba

^2gydF4y2Ba学习一个新地方的WMgydF4y2Ba^pgydF4y2Ba学习条件的所有组成的地标。gydF4y2Ba

^3gydF4y2Ba这些信息可以来自实际车辆上的磁罗经或提供的GPS坐标数据集。gydF4y2Ba

^4gydF4y2Ba为了简单起见使用零重量和提高计算速度。gydF4y2Ba

^5gydF4y2Ba这个属性是特别相关的单调的环境中,比如高速公路。gydF4y2Ba

^6gydF4y2BaRobotCar季节(gydF4y2Ba解决et al ., 2018gydF4y2Ba)提出了跨季节为冲程体积测试序列。gydF4y2Ba

^7gydF4y2Ba这一比例被证实是足以给重要的结果。gydF4y2Ba

^8gydF4y2Ba神经元编码空间变量的大小表明系统能够适应环境。gydF4y2Ba

引用gydF4y2Ba