跳转到主要内容

原始研究的文章

前面。机器人。AI, 09年2020年1月
秒。虚拟环境
卷6 - 2019 | https://doi.org/10.3389/frobt.2019.00142

系统评估的技巧操作液压挖掘机使用遥控挖掘机和虚拟现实

某某Sekizuka 1 *,学者伊藤1,藤原Saiki2,Yoichiro山崎2祐一Kurita1
  • 1研究生院工程、广岛大学、日本广岛
  • 2日本神户制钢所建筑机械有限公司,日本广岛

我们开发了一个系统来评估液压挖掘机操作的技巧。该系统采用远程控制(RC)挖掘机和虚拟现实(VR)技术。我们改造的RC挖掘机,这样就可以将操作以同样的方式作为一个真正的挖掘机,然后测量挖掘机的状态。评估的技巧操作这个系统,我们计算几个指标的数据进行挖掘时记录和比较专家和非专业运营商获得的指标。结果显示,可以区分是否一个专家或非专业操作RC挖掘机。我们计算相同的指数从数据记录与实际挖掘机开挖期间和验证指标之间存在着高度的相关性的RC挖掘机和真正的挖掘机。因此,我们证实了指标的挖掘机和模拟器表现出类似的趋势。这表明,有可能部分评估真正的挖掘机的操作特点使用RC挖掘机不同动力学与真正的挖掘机。

1。介绍

液压挖掘机是工程机械工作装置有很高的自由度和各种附件。因此,这些挖掘机可用于各种类型的工作,如开挖和爆破。液压挖掘机的经营者应该有先进的技能和经验。根据需要操作一个挖掘机,操作员在驾驶室控制手段;然而,这种类型的操作不是很直观。近年来,建筑行业的工人的数量已经减少,和减少年轻工人的数量提出了一个挑战。因此,年轻的液压挖掘机操作员的早期训练是必不可少的,但真正操作训练和挖掘机方面很难获得一个适当的位置,并确保安全。模拟器可以有效训练的情况下,很难训练在实际环境中使用一个实际的机器。培训可以安全地使用模拟器和执行较低的运营成本比发生在使用实际的机器。各种研究处理培训使用模拟器和几个培训模拟器开发工程机械(Kamezaki et al ., 2008;王et al ., 2011;倪et al ., 2013)。一些研究认为是液压挖掘机的动力模拟器(Vaha Skibniewski, 1993;帕特尔所生,2011年;Vujic et al ., 2017)。存在一个挑战在挖掘机模拟器:很难繁殖行为的土壤挖掘实时的计算成本。我们认为这个问题可以解决通过使用培训系统使用一个遥控玩具挖掘机(RC)。

定量评价的操作技能培训是有用的。通常,一个工作所花费的时间是用来评估液压挖掘机的操作技能,但这个参数是不够详细技能评估。研究了量化挖掘机的操作技能(Bernold et al ., 2003;Sakaida et al ., 2008;Koiwai et al ., 2016)。然而,它是未知的技能评价方法是否适用于一个真正的挖掘机可以应用在使用一个RC玩具挖掘机不能完全模拟实际挖掘机的特点。因此,有必要验证指标可以定量评估操作技能无论操作目标是一个真正的挖掘机或一个RC玩具挖掘机。

在这项研究中,我们开发了一个模拟器,可以测量每个关节角实时通过使用RC玩具挖掘机具有相同的观点和操作界面,一个真正的挖掘机。我们计算评价指标为杠杆操作和斗运动使用该系统和一个真正的挖掘机和确定指标之间的高相关操作技能RC玩具挖掘机和真正的挖掘机。初步实验结果解释IROS2019 (Sekizuka et al ., 2019)。本文的新贡献的比较我们的RC挖掘机的行为和一个真正的挖掘机,主观评价的可操作性和现实的视野RC挖掘机系统,和验证的技能评价指标包括一个新的索引杠杆操作。

2。相关工作

为了增加出现在遥操作系统中,一个方法的图像被相机放置在用户操作目标通过一个头采用显示器(HMD)。例如,HMD-based混合现实是用于提高远程呈现在公路车辆的操控和无人机(Hosseini里恩坎普这样说道,2016年;Sawarkar et al ., 2016)。它也用于遥控挖掘机(Ito et al ., 2019)。同样的方法也可以用于培训系统使用RC等替代机器玩具和小机器。手术训练系统使用一个RC直升机了(Kunieda Hoshino, 2009)。这个系统提供了一个观点从直升机驾驶舱时,将相机的图片附加到RC直升机在一个头盔显示器,从而有助于提高的现实操作。覆盖船舶操纵模拟器是一个实际的训练船,和增强现实(AR)技术开发(Takaseki et al ., 2014)。这个系统给的感觉在一个大型船舶通过显示一个三维(3 d)的大型船舶模型叠加在头盔显示器的图像使用基于“增大化现实”技术的标志安装在船头。在这项研究中,这一技术用于繁殖的视野好像骑一个RC挖掘机。

3所示。操作培训系统使用一个RC挖掘机

图1显示了开发系统的概述和配置使用一个RC挖掘机和虚拟现实(VR)技术。这个系统包括一个RC挖掘机,一个全向相机(理光,理光θS),一个头盔显示器(眼睛VR、眼睛裂谷简历1),两个操纵杆(罗技,极端的3 d Pro),四个可变电阻器(主持人,R1610N-QB1-B103),微机板(Arduino SRL Arduino Uno;以下,称为Arduino)和一台笔记本电脑。

图1
www.雷竞技rebatfrontiersin.org

图1。系统使用RC挖掘机和虚拟现实技术。(一)系统外观和(B)系统配置。书面知情同意了个人发布的这张照片。

的视野从挖掘机的出租车是复制在这个系统。图2显示的方法复制从出租车的视野。全向相机安装在RC挖掘机。获得的图像传输到笔记本电脑在HDMI,和球面全景图像生成。三维(3 d)模型的液压挖掘机的出租车被安排在球面全景图像的中心。3 d模型的视野投射到出租车的HMD和它对应的方向用户通过头盔显示器的头部跟踪功能。通过这种方式,用户可以体验的视野就好像他是在RC挖掘机。一系列的图像处理演示使用游戏引擎进行统一。视觉系统的延迟时间是170 ms。我们修改了RC挖掘机,以便它可以与两个操纵杆。因此,可以执行相同的操作,真正的挖掘机。 Moreover, it was possible to measure each joint angle of the RC excavator during the operation. As shown in图3电位差计是连着RC挖掘机的关节。RC挖掘机的控制和关节角的测量是实现通过使用笔记本电脑和Arduino。

图2
www.雷竞技rebatfrontiersin.org

图2。从驾驶室视野的再生产。

图3
www.雷竞技rebatfrontiersin.org

图3。每个电位计的安装位置。(一)可转接头,(B)繁荣的联合,(C)手臂关节,(D)桶接头。

确认RC挖掘机用于提出的动态系统,我们测量的时间响应各关节角速度的RC挖掘机和真实挖掘机(SK135SR-5、日本神户制钢所工程机械)所示图4图5表1目前最初的关节角。杠杆操作手动执行真正的挖掘机是用作RC挖掘机的输入。图6时间响应的结果显示关节角速度。蓝色虚线代表杠杆操作规范化,最大值1。青色和红色实线代表真正的挖掘机的关节角速度和RC挖掘机,分别。

图4
www.雷竞技rebatfrontiersin.org

图4。真正的挖掘机(SK135SR-5,日本神户制钢所工程机械)。

图5
www.雷竞技rebatfrontiersin.org

图5。挖掘机几何学。l1,l2,l3的长度是繁荣,手臂,分别和水桶。θ123的角度是繁荣,手臂,分别和水桶。

表1
www.雷竞技rebatfrontiersin.org

表1。挖掘机的初始关节角(°)。

图6
www.雷竞技rebatfrontiersin.org

图6。真正的挖掘机关节角速度和RC挖掘机。(一)繁荣的操作,(B)操作臂,(C)桶的操作。

我们假设系统作为一个一阶系统死时间和估计系统参数。的增益K角速度的最终值,死的时间吗l和时间常数T由以下公式计算。

l = t p - - - - - - v p R ( 1 )
T = t - - - - - - l ( 2 )

在这里,(tp;vp)的转折点是在加速关节角速度。R斜率是拐点。此外,t是时候当角速度达到63.2%的最终值,然后呢tpt《纽约时报》是基于杆输入开始的时候。

表2列出了每个链接的系统参数计算的挖掘机和RC挖掘机,分别。

表2
www.雷竞技rebatfrontiersin.org

表2。系统参数挖掘机的各个环节。

4所示。主观评价的可操作性和RC挖掘机的存在

为了研究该系统的可操作性和图像的存在,我们采用主观评价问卷。

4.1。试验协议

受试者八人运营一个挖掘机和12个人从来没有操作;知情同意是来自受试者在实验之前。受试者进行重复连续开挖3分钟。连续开挖包括四个步骤:挖掘、车削、倾销,并返回。此外,连续开挖开始扩展的挖掘机的手臂,和开挖是由挖到地下。是由转向90°而提高桶的挖掘机。倾销是由土壤排放到桶里。返回的操作被定义为开挖的回到初始状态。完成任务后,我们进行了主观评价该系统的可操作性和存在的图像通过使用一个问卷调查。可操作性评估使用6尺度NASA-TLX(日本版的哈加Mizukami, 1996),这是一个主观的心理工作负荷评价方法。整体工作负载使用原始及计算,它使用所有尺度上的平均值。图像的存在被指使用四个量表评估的评估问卷的广角静态图像(Emoto et al ., 2006)。问卷项目如下所示。

•可操作性

——精神和知觉活动需要多少钱?

——体育活动需要多少钱?

——压力多少时间你感觉由于任务或任务的步伐元素发生?

你在执行任务——如何成功呢?

——你有多么努力去完成自己的水准了吗?

——多么恼怒、压力和烦恼与内容,放松,和自满,你是否觉得在任务?

•存在的图像

——你觉得存在多少?

——你感觉强烈了多少?

——你觉得舒适了多少钱?

——你觉得深度多少钱?

每个项目所得到的回答是:0 - 100分。

4.2。结果

图7显示了问卷的结果的主观评价的可操作性。这种雷达图表意味着更大的面积,是操作的负担就越大。从图可以看到,经验丰富的受测者们给更高的分数比没有经验的项目”的努力。“有经验的和没有经验的学科之间的t每一项表明没有显著差异”的心理需求,”“物理需求,”“时间需求,”“工作表现不佳,”和“努力,“但一个显著差异是确认项目“挫折。”图8显示了原始及整体工作负载。这个结果证实了有经验的学科找到RC挖掘机操作更加困难。图7 b显示的问卷结果的主观评价的图像。这个雷达图表显示面积越大,更好的是图像的存在。图形显示,经验丰富的主题往往会给分数低于所有项目的经验不足的科目。的t有经验的和没有经验的学科之间的测试表明,每一项没有显著差异的“有力”和“深度”,但是有一个重要的区别的“存在”和“舒适性。”这个结果证实,经验丰富的主题倾向于给低分数的存在和舒适。

图7
www.雷竞技rebatfrontiersin.org

图7。评估结果主观负担和图像感知(*p< 0.05,n。,not年代我gnificant).(一)主观的负担,(B)主观感知形象。

图8
www.雷竞技rebatfrontiersin.org

图8。结果整体工作负载(原料及*p< 0.05)。

5。评估执行的开挖RC挖掘机和真正的挖掘机

开挖进行了使用RC挖掘机和真实挖掘机进行评估验证指标,可用于定量评估的技巧操作液压挖掘机,无论操作符。

5.1。试验协议

RC挖掘机和真实挖掘机(SK135SR-5、日本神户制钢所工程机械)被认为是在这项研究中所示图1,4,分别。受试者三专家和五非专业操作符。实验之前获得知情同意。在这项研究中,经营者通常评估的可操作性液压挖掘机被视为一个专家。受试者执行以下任务5次后充分练习使用RC挖掘机和真正的挖掘机。由三个连续挖掘周期测量任务。第二个和第三个周期进行了分析,第一个周期从停止状态被排除在外。操作时间,操作的每个杆轴,和挖掘机的每个关节角测量。繁荣的角度、手臂和斗的挖掘机测量长度的计算挖掘机的液压缸,和摇摆角用一个角加速度传感器测量。每个杆的试验压力的实际挖掘机作为操作的每个杆轴。 For the RC excavator, the sampling rate of the measurement data was 100 Hz. For the real excavator, the sampling rate of the measurement data was 1,000 Hz, and this was reduced to 100 Hz. The 3D trajectory of the bucket tip was calculated from the joint angle of the excavator by calculating the forward kinematics as follows:

( x y z ] = ( ( l 1 年代 1 + l 2 年代 12 + l 3 年代 123年 ) 年代 4 l 1 c 1 + l 2 c 12 + l 3 c 123年 ( l 1 年代 1 + l 2 年代 12 + l 3 年代 123年 ) c 4 ] ( 3 )
{ 年代 = θ , = 1 , 4 c = 因为 θ , = 1 , 4 年代 12 = ( θ 1 + θ 2 ) c 12 = 因为 ( θ 1 + θ 2 ) 年代 123年 = ( θ 1 + θ 2 + θ 3 ) c 123年 = 因为 ( θ 1 + θ 2 + θ 3 ) ( 4 )

这里,向右,向上和向前方向的挖掘机的积极方向设置为x, y,和z轴,分别如图所示图5。在这里,l1线段连接的长度是繁荣和手臂的转动轴的转动轴;l2是长度的线段连接臂的转动轴的转动轴桶;l3是线段的长度的旋转轴连接斗斗技巧;θ1线段之间的角吗l1和垂直方向;θ2线段之间的角吗l1和段l23线段之间的角吗l2和线段l3;和θ4是身体上旋转的角度对降低旅游的身体。真正的挖掘机和RC挖掘机的参数中列出表3被用来计算轨迹。

表3
www.雷竞技rebatfrontiersin.org

表3。每个链接的长度(毫米)和各关节的活动范围(°)的挖掘机。

图9显示测量轨迹的例子,杠杆操作在一个RC挖掘机和真正的挖掘机开挖循环。这里,杠杆操作是由时间序列的值通过规范的倾向程度转动,繁荣,手臂,和水桶操作杠杆,从−1比1。假设挖掘机不同的杠杆操作的轨迹形状和波形由于不同数量的长度比例的链接和挖掘机的行为的行为。这些数据计算使用操作技能考核指标。

图9
www.雷竞技rebatfrontiersin.org

图9。测量数据中挖掘(专家1 Task 3周期1)。(一)RC挖掘机铲斗的轨迹(mm)。(B)RC挖掘机的杠杆操作。(C)轨迹的挖掘机斗(mm)。(D)杠杆操作的挖掘机。

5.2。计算操作技能评价指标

评价指标是操作时间t分散的桶轨迹dt,斗轨迹的长度l桶,平均速度 v ¯ 和色散杠杆操作do。每个索引计算一个周期的不断挖掘,挖掘部分,将部分,倾销部分,并返回部分。

操作时间计算,因为它通常是作为评价指标。桶轨迹和色散的色散杠杆操作的计算基于专家挖掘大约独特的轨迹,无论开挖顺序(Sakaida et al ., 2008)。桶的轨迹长度计算考虑到专家与更紧凑的企业出效益有较短的轨迹。桶的平均速度是考虑到计算专家执行更快的操作。每个索引计算使用下面描述的方法。

桶的扩散轨迹代表轨迹之间的差异程度,当多次执行相同的操作。图10显示了桶计算弥散流轨迹。首先,这些轨迹计算的平均值。然而,它是不可能计算平均轨迹,因为数据长度为每个轨迹是不同的。因此,轨迹与不同的数据长度的平均值计算使用DTW重心平均(DBA)方法(佩提特金et al ., 2011)。然后,每个轨迹之间的不同和平均轨迹计算。为了这个目的,动态时间规整(DTW)方法(Sakoe千叶市,1978年),它可以计算两个时间序列之间的不同有不同的长度,采用。描述的DTW和DBA附录部分。最后,不同的平均计算,这被认为是分散的轨迹d

图10
www.雷竞技rebatfrontiersin.org

图10。计算离散轨迹的方法。

桶轨迹长度l计算使用以下方程:

l = = 1 n - - - - - - 1 ( x + 1 - - - - - - x ) 2 + ( y + 1 - - - - - - y ) 2 + ( z + 1 - - - - - - z ) 2 ( 5 )

在这里,(x,y,z)是th协调桶的轨迹n元素。

桶的平均速度 v ¯ 计算如下:

v ¯ = l t ( 6 )

分散的杠杆操作do计算在相同的方式吗dtswing操作,操作繁荣,操作臂,桶操作。在这里,距离函数d(一个,bj)的杠杆操作定义如下:

d ( 一个 , b j ) = | 一个 - - - - - - b j | ( 7 )

5.3。结果

图11显示了评价指标的RC挖掘机和真正的挖掘机在雷达图表为每个主题。第一轴代表操作时间;第二个轴代表桶轨迹的长度;第三轴代表桶的平均速度;第四轴代表桶的扩散轨迹;和第五至第八轴代表的杠杆操作的色散,繁荣,胳膊,水桶。使用每个评价指标的标准化的倒数,雷达图表的面积大了一个高技能的话题。虚线代表所有科目的平均水平。图显示的平均比平均的评价指标超出这条线。证实,专家们往往有更大的雷达图表面积比非专家RC挖掘机和真正的挖掘机。 The radar chart area for non-expert 3 was larger than that for the other nonexperts, because non-expert 3 had more working experience on operating a hydraulic excavator than the other nonexperts. These results suggest that it is possible to distinguish the skill differences for an expert or non-expert and to distinguish the length of working experience of the hydraulic excavator operator by using the RC excavator. However, the outline of the radar chart of the RC excavator was different from that of the real excavator. This may have been caused by the fact that the behavior of the RC excavator considered in this study differed from that of the real excavator.

图11
www.雷竞技rebatfrontiersin.org

图11。雷达图表的评价指标。使用每个评价指标的标准化的倒数,雷达的面积图成为一个高技能的话题更大。虚线代表所有受试者的平均水平。(一个1)专家,(B)2、专家(C)3、专家(D)非专业1,(E)非专业2,(F)非专业3,(G)非专业4,(H)非专业5。

6。讨论

每个评价指标的相关性和RC挖掘机之间的真正的挖掘机是追究连续开挖的每个部分。表4列出了计算结果的真正的挖掘机和RC挖掘机之间的相关性评价指标。每一行代表一个评价指标,而每一列代表了部分在计算中考虑。每个值代表真正的挖掘机和RC挖掘机之间的相关系数为每个评价指标。用粗体显示的值显著相关。真正的挖掘机和RC之间没有显著相关性挖掘机数据被发现在任何部分的操作时间和分散的秋千,胳膊,桶操作。然而,在几个部分,显著相关确认的色散桶轨迹,桶轨迹的长度,平均速度的桶,分散业务的繁荣。人们认为相关的色散桶的桶轨迹和长度轨迹更高,因为它是挖掘机的行为差异的影响。结果表明可以部分评估实际的运行特点挖掘机使用RC挖掘机的动力不同于那些真正的挖掘机。

表4
www.雷竞技rebatfrontiersin.org

表4。真正的挖掘机指数和RC挖掘机指数之间的相关性(*p< 0.05,**p< 0.01)。

数字7,8表明有经验的操作员发现更难操作RC挖掘机。图7 b表明,经验丰富的运营商倾向于给低分数的存在和舒适。这样做的原因可能是经验丰富的操作员感到一种不协调不同的RC挖掘机在可操作性和可见性从真正的挖掘机。当然,游戏操纵杆的操作界面是复制从真正的杠杆,有不同的刚度和RC挖掘机是由液压执行机构的电动机相反。因此,可操作性的RC挖掘机没有一模一样的真正的挖掘机。此外,我们取代了原始人类的视觉HMD和全向相机分辨率远低于人类的眼睛。当前系统没有提供深度信息的能力。然而,深度知觉的评价不是更糟,因为被认为在一个单眼深度图像的帮助下照明等环境条件,阴影,等等。此外,视觉系统的延迟对视觉浸有很大的影响。为了使更精确的技能评估和有效的培训,有必要密切繁殖中的可操作性和可见性的挖掘机RC挖掘机。

的重要性的体现(SoE)和认知的体现(转换端)在虚拟现实环境中(韦恩,2003;Kilteni et al ., 2012)强调。提高国有企业和转换端将扩展技能评估的完整性。多通道信息,如视觉、听觉、触觉感受也可以用来获得更好的理解更高级的技能操作时真正的挖掘机。多通道信息对于提高曲线端和国有企业是非常重要的。作为未来的工作,我们计划改善提出系统显示声音和振动在操作。

7所示。结论和未来的工作

在这项研究中,我们开发了一个模拟器,可以测量每个关节角实时通过使用RC挖掘机具有相同的观点和操作界面,一个真正的挖掘机。我们计算评价指标为杠杆操作和铲斗运动在开挖期间使用该系统和一个真正的挖掘机。虽然动力学主要是不同的,结果显示高相关性RC挖掘机和真实挖掘机在某些操作和建议提出系统可以评估的操作技能之间的对应关系的方向杆和挖掘机的关节角。

然而,并不是所有的操作技能可以学到真正的挖掘机培训与RC挖掘机系统发达。在未来,为了使更精确的技能评估和有效的训练,我们将尝试密切重现真实的可操作性和可见性在RC挖掘机挖掘机。具体来说,我们将取代的操纵杆杠杆一样真正的挖掘机和提高视觉系统使用一个工业相机与高分辨率和低延迟。此外,需要更多的评价指标来评价高技能操作符。未来的工作还将包括挖掘土壤的重量的测量和计算模拟燃料消耗的测量电流。这项研究仅限于操作技能的评估使用RC挖掘机液压挖掘机,它没有被验证有效的培训是否可以执行使用它。因此,我们计划来验证培训效果的RC挖掘机通过观察操作技能的变化随着时间的推移,这样的培训。

数据可用性声明

在这项研究中生成的数据集是可在请求相应的作者。

道德声明

书面知情同意了个人(s)的出版的任何潜在的可识别的图像或数据包含在本文中。

作者的贡献

RS设计研究和起草了手稿。心肌梗死导致数据收集和解释和批判性回顾了手稿。YK贡献的概念研究和批判性回顾了手稿。所有作者都批准了最终版本的手稿。此外,所有作者同意负责所有方面的工作在确保相关问题的准确性或完整性的任何部分工作适当地调查和解决。

资金

本文结果日本神户制钢所支持的一个项目工程机械有限公司有限公司资助机构没有参与研究设计、数据收集和分析,决定发表,或准备的手稿。

的利益冲突

MI、SS和YY是受雇于日本神户制钢所建筑机械有限公司有限公司

其余作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

确认

工作部分的会议论文集。

引用

Bernold, L。劳埃德,J。,Vouk, M. (2003). Equipment operator training in the age of internet2.Nist的特殊出版sp,505 - 510页。

谷歌学术搜索

Emoto, M。,米一个年代一个ok一个,K。Sugawara, M。,Nojiri, Y. (2006). The viewing angle dependency in the presence of wide field still image viewing and its relationship to the evaluation indices.j .本月。图像通知。Televis。Eng。1288 - 1295(在日本)。doi: 10.3169 / itej.60.1288

CrossRef全文|谷歌学术搜索

哈加S。,米我zukami, N. (1996). Japanese version of nasa task load index.日本。j·尔刚。32岁,71 - 79年(日本)。doi: 10.5100 / jje.32.71

CrossRef全文|谷歌学术搜索

Hosseini,。,l我enkamp, M. (2016). “Enhancing telepresence during the teleoperation of road vehicles using HMD-based mixed reality,” in2016年IEEE智能车辆研讨会(IV)(哥德堡:IEEE), 1366 - 1373。

谷歌学术搜索

伊藤,M。,Funahara, Y., Saiki, S., Yamazaki, Y., and Kurita, Y. (2019). Development of a cross-platform cockpit for simulated and tele-operated excavators.j .机器人。Mechatron。31日,231 - 239。doi: 10.20965 / jrm.2019.p0231

CrossRef全文|谷歌学术搜索

Kamezaki, M。岩田聪,H。,Sugano, S. (2008). “Development of an operation skill-training simulator for double-front work machine,” inIEEE / ASME国际会议上先进的智能机电一体化,2008(西安:IEEE), 170 - 175。

谷歌学术搜索

Kilteni, K。,Groten, R., and Slater, M. (2012). The sense of embodiment in virtual reality.存在21日,373 - 387。doi: 10.1162 / PRES_a_00124

CrossRef全文|谷歌学术搜索

Koiwai, K。,Yamamoto, T., Nanjo, T., Yamazaki, Y., and Fujimoto, Y. (2016). “Data-driven human skill evaluation for excavator operation,” in2016年IEEE国际会议上先进的智能机电一体化(AIM)(阿尔伯塔省,AB: IEEE), 482 - 487。doi: 10.1109 / AIM.2016.7576814

CrossRef全文|谷歌学术搜索

Kunieda, J。,Ho年代h我no,Y. (2009). “Development of rc helicopter control skill study support system in consideration of user interface,” in2009年IEEE国际会议上模糊系统(济州岛:IEEE), 957 - 962。

谷歌学术搜索

倪,T。,Zhang, H., Yu, C., Zhao, D., and Liu, S. (2013). Design of highly realistic virtual environment for excavator simulator.第一版。电工实习。Eng。39岁,2112 - 2123。doi: 10.1016 / j.compeleceng.2013.06.010

CrossRef全文|谷歌学术搜索

帕特尔,b P。,Prajapati, J. M. (2011). Soil-tool interaction as a review for digging operation of mini hydraulic excavator.Int。j . Eng。科学。抛光工艺。3,894 - 901。

谷歌学术搜索

佩提特金,F。,Ketterlin, A., and Gançarski, P. (2011). A global averaging method for dynamic time warping, with applications to clustering.Recogn模式。44岁,678 - 693。doi: 10.1016 / j.patcog.2010.09.013

CrossRef全文|谷歌学术搜索

Sakaida Y。Chugo D。,Yamamoto, H., and Asama, H. (2008). “The analysis of excavator operation by skillful operator-extraction of common skills,” in马夫年会,2008年(东京:IEEE), 538 - 542。

谷歌学术搜索

Sakoe, H。,Ch我b一个,S. (1978). Dynamic programming algorithm optimization for spoken word recognition.IEEE反式。Acoust。语音信号的过程。26日,43-49。doi: 10.1109 / TASSP.1978.1163055

CrossRef全文|谷歌学术搜索

Sawarkar,。,Ch一个udhari, V., Chavan, R., Zope, V., Budale, A., and Kazi, F. (2016). Hmd vision-based teleoperating ugv and uav for hostile environment using deep learning.arXiv预印本arXiv: 1609.04147

谷歌学术搜索

Sekizuka, R。伊藤,M。,Saiki, S., Yamazaki, Y., and Kurita, Y. (2019). “Evaluation system for hydraulic excavator operation skill using remote controlled excavator and virtual reality,” in学报2019年IEEE / RSJ智能机器人和系统国际会议(IROS2019)(澳门),3229 - 3234。

谷歌学术搜索

Takaseki, R。佐野N。,Nagashima, R., and Okazaki, T. (2014). Basic study on override ship maneuvering simulator using actual training ship.Proc。日本联合奥特曼。控制设计。57岁,1493 - 1497。doi: 10.11511 / jacc.57.0_1493

CrossRef全文|谷歌学术搜索

Vaha, P。,Skibniewski, M. (1993). Dynamic model of excavator.j .航空航天。Eng。6,148 - 158。doi: 10.1061 /(第3期)0893 - 1321(1993)以(148)

CrossRef全文|谷歌学术搜索

Vujic D。,l一个z一个revic, O., and Batinic, V. (2017). Development of dynamic-mathematical model of hydraulic excavator.j .中南大学。24岁,2010 - 2018。doi: 10.1007 / s11771 - 017 - 3610 - x

CrossRef全文|谷歌学术搜索

王,X。,Dunston, P. S., Proctor, R., Hou, L., and So, J. (2011). “Reflections on using a game engine to develop a virtual training system for construction excavator operators,” in学报28日自动化和机器人技术在建设国际研讨会(2011年ISARC)(首尔)。

谷歌学术搜索

韦恩,w (2003)。在人工环境中学习:体现、嵌入性和动态适应。抛光工艺。指导。Cogn。学习。1,87 - 114。

谷歌学术搜索

附录a .

. 1。DTW

的DTW方法计算两个时间序列之间的距离不同的长度。的一个例子使用DTW算法计算两个时间序列数据的距离(一个= {一个1,一个2⋯,一个},B= {b1,b2⋯,bJ下面是})。

步骤1:的距离d(一个1,b1)之间的一个1b1计算;这是DTW距离D(1,1)。

步骤2:DTW距离D(,1)计算如下:

D ( , 1 ) = D ( - - - - - - 1 , 1 ) + d ( 一个 , b 1 ) ( A1 )
= 2 , 3 , , ( A2 )

步骤3:DTW距离D(1,j)是为了计算如下:

D ( 1 , j ) = D ( 1 , j - - - - - - 1 ) + d ( 一个 1 , b j ) ( A3 )
j = 2 , 3 , , J ( A4 )

步骤4:DTW距离D(我,我)是为了计算如下:

D ( , j ) = n { D ( , j - - - - - - 1 ) D ( - - - - - - 1 , j ) D ( - - - - - - 1 , j - - - - - - 1 ) } + d ( 一个 , b j ) ( A5 )
= 2 , 3 , , , j = 2 , 3 , , J ( A6 )

然后,D(我,我)时间序列的DTW距离一个B。这个值越小,越相似的两个时间序列数据。时间序列的点之间的通信一个B通过计算得到D(我,我),被称为扭曲的道路。

在这项研究中,距离函数d(一个,bj)可以根据时间序列数据的类型不同。在三维欧几里得空间的距离,由下列方程表示,用于处理3 d轨迹数据。

d ( 一个 , b j ) = ( 一个 1 - - - - - - b j 1 ) 2 + ( 一个 2 - - - - - - b j 2 ) 2 + ( 一个 3 - - - - - - b j 3 ) 2 ( A7 )
一个 = ( 一个 1 , 一个 2 , 一个 3 ) , b j = ( b j 1 , b j 2 , b j 3 ) ( A8 )

获得的值除以DTW距离计算弯曲路径的元素的数量被认为是两者之间的不同轨迹的影响,消除元素的轨迹数据的数量。

由信用证。DBA

DBA方法计算的平均时间序列的多个时间序列数据。的一个例子使用算法来计算平均的三个时间序列(一个= {一个1,一个2⋯,一个},B= {b1,b2⋯,bJ},C= {c1,c2⋯,cK下面是})。

步骤1:让我们考虑任意时间序列数据的临时平均时间序列数据= {1,2⋯,H}。

步骤2:扭曲的路径的平均时间序列数据和每个时间序列数据使用DTW方法计算。

步骤3:更新每一个点的平均时间序列在每个时间点的平均价值系列相关的扭曲的道路。

例如,h使用以下表达式与扭曲的路径更新关于数据点吗一个,bj,ck相关的数据点h

h = 一个 + b j + c k 3 ( A9 )

步骤4:重复步骤2和3,直到平均时间序列收敛。

关键词:技能评估、虚拟现实、建筑机械、远程控制,动态时间扭曲

引用:Sekizuka R, Ito M, Saiki年代,山崎和Kurita Y(2020)系统评估的技巧操作液压挖掘机使用遥控挖掘机和虚拟现实。前面。机器人。人工智能6:142。doi: 10.3389 / frobt.2019.00142

收到:2019年7月18日;接受:2019年12月06;
发表:2020年1月09年。

编辑:

Arnaud Leleve里昂国立研究所科学我们的里昂(早期),法国

审核:

基督教Schlette南丹麦大学,丹麦
Burak Cizmeci瑞士苏黎世联邦理工学院

版权©2020 Sekizuka Ito saki,山崎和Kurita。这是一个开放分布式根据文章知识共享归属许可(CC)。使用、分发或复制在其他论坛是允许的,提供了原始作者(年代)和著作权人(s)认为,最初发表在这个期刊引用,按照公认的学术实践。没有使用、分发或复制是不符合这些条件的允许。

*通信:某某Sekizuka,ryotasekizuka@hiroshima-u.ac.jp

下载