方法的文章

前面。机器人。AI, 2022年2月14日
秒。机器人视觉和人工识别
卷8 - 2021 | https://doi.org/10.3389/frobt.2021.800131

测量接触点的一种方法,在人造物交互利用红外摄像机

医学院心理学系和Logopedics,芬兰赫尔辛基,赫尔辛基大学

本文提出了一种新颖的方法测量接触点在人造物的互动。研究多个prehension-related字段,例如,行动计划、给养、运动功能,人体工程学,和机器人抓住,得益于准确和精确测量一个主题的手和物体之间的接触点。在交互过程中,主题的手咬合接触点,构成重大挑战直接光学测量方法。我们的方法解决阻塞问题利用热能转移话题的手在交互对象表面。的相互作用后,我们测量物体表面发出的热量有四个高分辨率红外摄像机周围的对象。计算机视觉算法的红外图像检测地区主体的手指触摸的对象。结构光三维扫描仪产生的点云场景,使物体的定位与红外摄像机。然后我们使用定位结果项目检测到接触点的红外摄像机图像对象的三维模型的表面。数据收集与该方法快速、不引人注目的、非接触式,markerless和自动化。方法使接触点在非平凡的复杂对象的精确测量。 Furthermore, the method is extendable to measuring surface contact areas, or patches, instead of contact points. In this article, we present the method and sample grasp measurement results with publicly available objects.

介绍

我们的手是很好的工具操纵对象,我们每天接触和掌握无数的对象。理解运动分为三个部分:将手移动到目标,设置为贪婪的手指的姿势,并调整手,这样把握是可能的(风扇et al ., 2006)。他们使我们能够选择接触点在对象,允许一个稳定控制和操纵对象(扎齐奥尔斯基Latash, 2008;Kleinholdermann et al ., 2013)。

理解运动引导视觉信息的大小,形状和密度的对象(塞萨里和纽厄尔,1999)。此信息用于手运动的初步规划和把握属性,但也手运动期间发生的变化也考虑(布里奇曼et al ., 1979)。

虽然操作简单和轻松对于人类来说,他们是不容易的机器人。把握和操作以前看不见的对象和操作在非结构化,凌乱,环境变量已经被证明是一个非常困难的任务对机器人(崔和Trinkle, 2021)。尽管努力近年来一直关注的问题,它没有被解决(Kleeberger et al ., 2020)。

有多种方式方法的问题。一种方法被称为分析,把握是通过分析对象的形状决定的。这个可以做,例如,通过分析对象来确定它们的外观把握功能可见性(歌et al ., 2015;做et al ., 2018)。

第二种方法叫做数据驱动,作为训练数据集形成机器人的手和合适的方法,如深度学习。数据驱动的方法的例子,例如,一项研究Gabellieri et al。(2020)描述人类掌握数据收集,人类操作员使用机械手来把握对象和最终掌握数据收集与深度相机和运动跟踪。埃德蒙兹et al。(2019)使用触觉手套与力传感器捕获的姿态和部队打开药瓶时,人类使用安全机制。数据被用来教机器人系统进行相同的任务。

掌握数据收集耗时和昂贵的,这些数据被收集在哥伦比亚掌握数据库等数据库,基于GraspIt !所使用的工具包,可以研究社区开发合适的训练方法(Goldfeder et al ., 2009)。

数据驱动方法的关键问题是数据收集的质量。人手轨迹和把握在很多方面可以测量。例如,交互可以从视频和互动视频手动编码(塞萨里和纽厄尔,1999;崔和马克,2004年)。然而,这是非常耗时和可能导致问题inter-coder可靠性(北城et al ., 1998)。

人工注释,而是一个计算机视觉系统可以探测和跟踪的手从RGB图像(哈斯et al ., 2016;Cai et al ., 2017;Lyubanenko et al ., 2017)或从深度相机图像(Oikonomidis et al ., 2011)。这些模型在实验室条件下表现良好,但与无约束问题的现实条件下,大风景的变化使得特征提取困难(杨et al ., 2015)。将视觉标记的手和跟踪标记(Gentilucci et al ., 1992)提高了跟踪的结果,使实验装置的成本更复杂和更少的自然。然而,最关键的问题是手遮挡,使得接触点的检测困难(杨et al ., 2015;bloom et al ., 2016)为手动和计算机应用的方法。

另一个类别的方法依赖于传感器的手。这些系统中的传感器可以电磁(Shelburne trakSTAR,提升科技集团,VT,美国;例如,陈和桑德斯(2018)、FASTRAK Polhemus Corp .科尔切斯特,VT,美国;例如,一杯啤酒和丛林(1999)电阻(服、虚拟技术,帕洛阿尔托、钙、美国;例如,Ansuini et al ., 2007北部),或者红外(Optotrak数字Inc .,滑铁卢,安大略省,加拿大;例如,Kleinholdermann et al。(2013)和克雷斯曼et al。(2007)。传感器提供准确的手和关节运动数据,但它们能减少实验设置自然和可能破坏hand-object交互,同时传感器和相关的电线可能会限制运动和变化把握策略。

作为所有当前方法有局限性,我们引入一个接触点测量方法克服这些限制。的标准在开发工作的方法1)允许快速数据收集没有人工注释;2)可以测量生态效度高的日常用品,例如,without altering their visual appearance or interfering with interaction; and 3) produces accurate data.

我们的方法是基于热成像,已广泛应用于医学Gizińska et al ., 2021;Martinez-Jimenez et al ., 2021)、监控(Ivašić-Kos et al ., 2019;段et al ., 2021)和质量控制(ElMasry et al ., 2020;Khera et al ., 2020)。我们的应用程序的起点是手指的温度,这是29.1±0.6°C的环境温度25.4±0.4°C, (Shilco et al ., 2019),转让对象被感动了。换句话说,当一个参与者接触的对象,他们的手,有一个短期热签名对应区域的感动。这些热量签名可以用来推断理解类型在人造物的交互使用。此外,热量信号可以用来区分掌握类型外观类似的手从上空俯瞰时,但实际上是不同的细节控制被遮挡的手。

在下面这篇文章,我们将概述的技术细节的方法以及提出初步的数据记录系统,同时抓住YCB对象集(愈伤组织et al ., 2015)。

方法

测量站(图1)由四个FLIR A65红外摄像机(FLIR系统,位于俄勒冈州威尔逊维尔或者美国),一个3 d扫描仪PhoXi M结构光扫描(Photoneo垂询。布拉迪斯拉发,斯洛伐克),控制计算机,一个平面框架结构在中间放置目标对象。对于未来的发展,我们还包括四个Xbox Kinect一个传感器(美国微软公司,微软,佤邦)的配置。

图1

图1。测量站的目标对象。

校准相机系统需要一个目标模式的特性在图像检测系统中记录所有的相机。系统包括四种类型的相机,记录不同波段的光谱。红外摄像机记录波长7.5 - -13.0µm (Flir系统,2016)。3 d扫描仪利用波长638纳米的激光结构光投影(Photoneo 2018)。我们也记录与Kinect RGB-D相机使用激光二极管与峰值强度在850 nm飞行时间测量(Naeemabadi et al ., 2018)和单独的传感器对近红外光谱的可见部分,。校准相机所有内部和外部,我们开发了一种校准目标(图2)。模式是一个4×11不对称圆网格和20.0 mm间距15.0毫米圆直径。模式是减少激光从70μm厚哑光黑色PVC膜和附加到4.0毫米厚粗鲁的铝合金板。我们温暖的校准目标加热元件,以便与室温温差是大约10°C。裸铝圆反映周围环境的波长记录设备,而PVC-coated表面不反光。校准的目标使我们能够利用OpenCV的相机校正实现(https://opencv.org/)。我们校准相机的内部参数和外部摄像系统,我们获得一个旋转和翻译相对于每个相机的3 d扫描仪。

图2

图2。在红外图像校准模式检测。温暖的PVC涂层区域图像中出现白色,而裸露的金属圈反映了寒冷的周边环境。

数据采集期间和之后发生的交互。我们记录现场红外摄像机和一个RGB-D相机在互动和交互后短时间内已经结束。的互动,主体把对象放在桌子上覆盖着相机,拉着他们的手的对象和摄像机之间的视线。然后,录音结束,我们与3 d扫描仪扫描现场。图3说明了流程流。在这里,我们描述一个对象的过程,但有效的方法允许从多个对象连续数据采集。实验主管需要照顾的地方每个对象在所需的位置没有改变它的表面温度,例如,通过戴绝缘手套或使用室温钳。

图3

图3。测量接触点的阶段。人造物的交互后,我们记录场景的红外图像和三维点云。我们使用点云精确定位场景中的对象和一个计算机视觉算法检测到红外图像的接触点。接下来,我们项目接触点表面的局部对象模型,过滤,储存点坐标和半径。

检测接触点后的红外图像记录交互,我们使用OpenCV实现的简单的blob检测算法。算法检测到不同的区域环境温度的温度,和输出中心点坐标u和v,和每个区域半径。使用的相机参数和现场配置确定算法所需的参数。

对于本地化,我们使用专有Photoneo本地化SDK (Photoneo垂询。伯拉第斯拉瓦(捷克斯洛伐克)。特性计算的定位算法使用一组预定义的物体的3 d模型和搜索匹配特征点云。定位的结果,我们得到对象旋转和转换矩阵,R和T,相对于3 d扫描仪。

映射对象表面上的接触点,我们项目接触点的图像坐标回3 d场景,在照相机相交的射线投影物体的表面的3 d模型。解决点的可见性和遮挡的物体,我们使用OpenGL (Khronos组织,比佛顿,或者美国)获得的Z-buffer对象模型从每个红外摄像机的位置。我们将对象模型从3 d扫描仪坐标系到红外相机坐标系和渲染。因此,由此产生的Z-depth Z-buffer提供了红外图像的关键点。点对象以外的边界被丢弃。关键点坐标参考系然后转换为对象。

相同的接触点可能出现在多个相机图像,我们过滤接触点的集合。作为衡量点的可靠性,我们用摄像机光轴的夹角和表面正常的接触点,因为关键的缺陷检测、校准、和本地化造成一个错误投影与入射角增加。重点从不同的相机内9毫米的距离,我们保留最小的入射角。最后,我们商店其余关键点坐标X, Y, Z,半径r’,在毫米对象坐标,在数据库中。

我们遵循的指导方针芬兰赫尔辛基大学的顾问委员会在科研诚信和伦理审查委员会在人文和社会科学和行为科学。

结果

我们记录了一个把握事件的每个77 YCB对象中的对象集(愈伤组织et al ., 2015;愈伤组织et al ., 2017)有一个匹配的三维模型。作者JHH抓住每个对象用右手使用自然掌握适合解除对象(图4),把对象从表10 - 20厘米高,和把它放下。掌握类型或持续时间不受限制;接触时间往往是小于2。限制skin-object接触区域每个手指的远端指骨,抓紧器穿绝缘的无指手套。

图4

图4。12个样品红外图像对记录后在贪婪的行为和交互。

为67的77对象定位成功。定位失败可能是由于部分变形对象(004 _sugar_box和061 _foam_brick),对象的non-rigidity (059 _chain和063 - a_marbles),和高度反光的表面(038 _padlock)。019年的定位结果_pitcher_base 180°旋转从而归类为失败。

确定地面真理的性能测量方法被证明是具有挑战性的,因为没有自动化的方法,可以提供地面真理。我们接触点检测的成功取决于视觉比较检测到接触点的红外和RGB相机帧把握事件。因此,我们的“真理”是容易出现人为错误,但我们提供把握事件记录和代码¹,所以其他人可能证实了我们的结论。检测接触点的成功在66年从67年局部对象。图5,6显示检测的例子。只有高度反光的物体042 _adjustable_wrench没有产生任何真正积极的检测。62年对象,该方法成功检测到所有的接触点。假阳性检测发生在16个对象,主要是由于高反射的反射对象,如028 _skillet_lid明显图7。绝缘手套覆盖第二方阵抓紧器的手指只是部分,导致两个接触点相同的手指在三个案例。一些接触点都没有被发现,因为表面没有覆盖的摄像机,如029 _plate物体的下面。我们计算的精度和召回所有手指接触和使用视觉检查地面实况录音。67年局部对象,系统的精度是0.90而召回是0.95。

图5

图5。检测要点说明白圈在033 _spatula物体的红外图像。

图6

图6。结果接触点可视化为红点在033 _spatula对象的线框模型。

图7

图7。高度反光的表面,如028年的玻璃穹顶_skillet_lid描述,导致大部分的假阳性检测。

讨论

在本文中,我们已经描述了一个新颖的测量方法在人造物互动的接触点,第一个测试测量的结果。我们测量把握YCB对象集,其中包括日常用品有不同的尺寸和材料。对于大多数的对象,我们能够成功地测量接触点。22塑料玩具对象065年集团,072年和073年精度为0.97 1.00和回忆,这表明在应用程序中,实验者可以控制对象材料,该方法符合要求的要求。高度反光的物体被证明是困难的3 d扫描仪和红外摄像机来衡量。

的空间精度测量过程是具有挑战性的,因为误差取决于环境的属性的对象,抓住的手,抓住类型。我们可以测量错误使用的理想对象与一个已知的几何和温差作为目标,如我们的校准目标。然而,这样的措施,可能在毫米,高度会误导折扣误差的主要来源。热传导中随着时间的推移对象时应该考虑考虑空间精度。我们正在开发一个方法来衡量整个过程的空间精度;从我们的经验,我们希望均方根误差在几毫米与我们的硬件和软件配置。

测量方法是有效和准确的接触点。对于某些应用程序,一个更现实的模型的接触面积比只有接触面积可能更可取的中心和半径,目前我们的方法措施。例如,在机器人、一片接触模型提高把握与一个点模型(Charusta et al ., 2012)。我们的方法还可扩展测量接触区域,通过检测接触区域的红外摄像机图像并将它们映射为模型表面。接触面积测量,温度梯度引起的热传导在对象必须包含在模型中,随着时间的推移,接触区域冷却后联系。这可以通过跟踪对象和记录的接触时间和表面温度。然而,随着手指的抓紧器咬合接触面积、接触的确切时间是具有挑战性的测量从不变的对象。包括物体表面的材料属性和三维对象结构模型是有用的。

我们正在开发另一个改进是包括一个手和手指跟踪方法。跟踪允许我们识别手指,收集运动轨迹数据,并确定掌握类型,它是有价值的在某些应用程序(如抓规划,例如,在GraspIt !(米勒和艾伦,2004年)。增加实用性和改善性能的方法,先验知识的掌握使用类型和接触点的数量应该包含在数据处理,掌握不同类型产生不同skin-object接触区域。除了接触点和补丁,有些应用程序可能需要额外的数据。使用,例如,有限元模型的变形的手指可能提供有用的。此外,测量力分布和接触表面之间的摩擦将在机器人应用程序非常有用。结合模型热传导和手指变形会让我们大致掌握部队。物体的重量和尺寸,也可能是有用的,列出YCB数据集描述(愈伤组织et al ., 2015)。

在自动化和机器人技术,该方法使把握示威与已知对象的记录在仓库和生产线自动化等应用程序,如果目标对象的数量使得这个可行。方法还允许所需的大量数据集的集合训练机器学习模型和机器人的后续发展就能在非结构化环境中如家庭。例如,特定行为的接触点和点云数据记录从大量的对象使训练的神经网络预测接触点在小说对象,一个任务,手动带注释的图像仍然使用(楚et al ., 2018)。

数据可用性声明

最初的贡献提出了研究中都包含在这篇文章/补充材料,进一步的调查可以针对相应的作者。红外和RGB的录音抓YCB对象是可用的doi.org/10.5281/zenodo.5783717。

道德声明

伦理审查和批准没有所需的研究对人类参与者按照地方立法和制度的要求。患者/参与者提供了他们的书面知情同意参与这项研究。

作者的贡献

JHa构思最初的想法测量系统,为项目获得资金,并监督。JHa扮演了主要角色在系统规划阶段,构建系统,编程软件。JHa测量和分析了数据报告。两位作者的文章和批准提交的版本。

资金

这个项目是由业务芬兰项目4331/31/2016“自动测量人类接触。”

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

补充材料

本文的补充材料在网上可以找到:https://www.雷竞技rebatfrontiersin.org/articles/10.3389/frobt.2021.800131/full补充材料辅料:包含示例数据记录从YCB对象集与本文中描述的方法。见readme。详细描述的三种数据。

脚注

¹https://github.com/jussihh/graspsense

引用

Ansuini C。,Santello, M., Tubaldi, F., Massaccesi, S., and Castiello, U. (2007). Control of Hand Shaping in Response to Object Shape Perturbation.Exp。大脑Res。180年,85 - 96。doi: 10.1007 / s00221 - 006 - 0840 - 9

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

一杯啤酒,O。,和Jüngling, S. (1999). Reprogramming of Grip Aperture in a Double-Step Virtual Grasping Paradigm.Exp。大脑Res。125年,61 - 66。doi: 10.1007 / s002210050658