跳转到主要内容

原始研究的文章

前面。机器人。AI, 2022年1月31日
秒。生物医学机器人
卷8 - 2021 | https://doi.org/10.3389/frobt.2021.773830

机器人手术训练系统的发展

www.雷竞技rebatfrontiersin.org罗宾·茱莉亚Trute 1、2、3*,www.雷竞技rebatfrontiersin.org卡洛斯·苏亚雷斯Zapico 1、2、3,www.雷竞技rebatfrontiersin.orgAndreas Christou 1、2、3,www.雷竞技rebatfrontiersin.org丹尼尔Layeghi1、2、3,www.雷竞技rebatfrontiersin.org斯图尔特•克雷格1www.雷竞技rebatfrontiersin.org穆斯塔法Suphi Erden 1、3
  • 1工程与物理科学学院赫瑞瓦特大学、英国爱丁堡
  • 2爱丁堡大学信息学院、爱丁堡、联合王国
  • 3爱丁堡中心机器人、爱丁堡大学、英国爱丁堡

机器人手术越来越广泛应用于越来越多的临床病例由于其优势与开放手术相比,患者和外科医生。然而,机器人手术需要一组不同的技能和学习相比,开放和腹腔镜手术。与手动控制器指令的机器人系统,延迟手命令翻译成机器人动作,缓慢的机械运动,远程2 d或3 d视觉的实际操作,以及缺乏触觉反馈的机器人手术带来的挑战。外科医生需要通过一个机器人手术的强化训练,学习和技能发展贯穿他们早期的专业。尽管机器人手术培训的重要性,但还没有专门的、低成本、和广泛的培训平台;相反,外科医生主要是训练他们使用相同的机器人手术系统在手术;因此需要投资机构在一个单独的手术设置用于训练目的。这是昂贵的机构,它提供了非常有限的访问外科医生培训,和非常有限,如果有的话,访问人员的实验。为了解决这些,我们在实验室已经开发出一种低成本,和实验机器人手术教练。这个设置复制机器人手术系统的姿态和进一步的挑战提供了广泛的访问通过互联网连接的实际物理系统的控制。 The overall system is composed of equipment that a standard engineering laboratory can afford. In this paper, we introduce the Robotic Surgery Training System and explain its development, parts, and functionality.

1介绍

随着技术的进步,机器人手术已迅速成为一种广泛使用的手术操作(sheets et al ., 2020)。因此,训练有素的外科医生已经成为更多的需求。然而,在许多情况下,手术机器人是非常昂贵的,稀疏坐落在访问这些系统非常有限的培训目的。与机器人手术系统的高价格体制层面上,通常购买用于培训目的,我们提出一个低成本的开发和部分机器人手术培训体系,培训,和基于实验室的研究目的。我们机器人手术训练使操控两个钳需要执行任何标准培训游戏在腹腔镜检查框,手术领域内的3 d视觉训练箱(以及2 d视觉监控),触觉反馈给用户,并通过互联网远程遥操作系统的使用标准的笔记本电脑键盘和2 d视觉。这样一个系统将提供培训的学员一个简单和普遍的访问与物理实验机器人遥操作手术设置。此外,这种设置也有用的机器人手术的各个方面的研究,从开发和测试工具和控制技术来开发和测试的技能培训和评估技术,并试验验证等机器人手术的新奇的想法触觉反馈的有效性。

机器人手术训练系统我们在这里展示,有多个使用模式是:现场操作通过触觉与触觉反馈通过控制设备1通过网络和远程控制系统的连接和键盘输入控制。第一个模式可以使用屏幕上的二维视觉上面安装(参见培训框图1一个)或通过眼睛裂谷年代与3 d视觉VR耳机立体视觉设置(见图1 b)。图2显示了一个总体架构图两种遥控操作模式和用户之间的数据通信,主要的个人电脑和机器人机械手。

图1
www.雷竞技rebatfrontiersin.org

图1(一)机器人培训体系的设置与所有组件在现场控制方式与2 d屏幕上视觉形态。(B)VR耳机设置为3 d视觉形态。

图2
www.雷竞技rebatfrontiersin.org

图2。总体系统架构图。

1.1背景

尽管机器人手术提供了许多优势传统的开放手术,外科医生面临着增加认知负荷在机器人手术(Vajsbaher et al ., 2020)。学员有视觉空间的挑战,使学习过程困难(帕金斯et al ., 2002)。学员面临另一个挑战是时间约束使用真实的机器人系统,如达芬奇机器人进行训练。这些高成本的系统需要手术,在医院经常使用先进的外科医生。这使得学生很难获得经验与机器人手术系统。应对这些挑战我们的低成本机器人手术训练系统的开发。

通常,新手外科医生开始训练机器人手术模拟器等虚拟现实模拟器(罗斯)2或DV-Trainer3(费舍尔et al ., 2015)。这些设置的限制,在模拟灵活的粘弹性材料,如身体组织和他们的物理交互工具,还有一个模拟现实差距。这些训练设置的一个优势是,他们可以用来记录会话转移获得的技能经验丰富的外科医生和使用它们通过重现他们指导新手外科医生和加快学习曲线(Abdelaal et al ., 2019)。虽然这些虚拟系统可用于外科手术训练,我们的系统是一个实际的物理系统,可以更好地模拟物理交互与一个真正的机器人手术环境。

还有其他的物理系统,是解决方案被更便宜比真正的机器人手术系统。这些都是例如乌鸦二世(Hannaford et al ., 2013)和一个开源研究工具(Kazanzides et al ., 2014达芬奇外科系统)4。然而这些系统大多是技术研究的目的,即。,forexplor我ng new control algorithms or researching new instrument designs. Whereas the system that we are presenting here is mainly focused on training/surgical education. Both of these other systems are emphasizing the importance of low-cost solutions for robotic surgery platforms to facilitate robotic surgery research; therefore they are in support of the motivation for our system introduced in this paper. While the main aim of the other two research kits mentioned above is “to accelerate progress in surgical robotics research”, i.e., exploring new control algorithms or researching new instrument designs, our system’s main focus is to facilitate robotic surgery training and research for training purposes, though our system does not exclude research for robotic surgery system development.

还值得一提的,我们的设计方案是明显便宜。虽然乌鸦二是价值300000美元5,我们的系统的成本大约是£40000,这使得它更容易为教育和研究机构。我们找不到一些开源的成本研究工具(Kazanzides et al ., 2014),但是由于系统的硬件由退休达芬奇部分,我们假设它是更昂贵的比我们的系统构建与现成的组件。此外,我们相信,这个开源研究装备也不如我们的系统部署,因为我们认为会有一个非常有限的可用的系统数量,因为数量有限的退休达芬奇组件。广泛的部署是我们系统的一个重要方面,由于主要目标是增加可访问性外科实习生。

2 d设置模式的培训体系构成视觉挑战外科医生一样经典的腹腔镜检查。在腹腔镜minimallay-invasive手术(MIS),有non-binocular差距,这意味着从MIS环境深度线索不足可能导致外科医生误判空间深度(Bogdanova et al ., 2016)。当前文学强调实用性的3 d视觉机器人手术系统和经典的腹腔镜检查(威廉et al ., 2014)。我们集成的3 d视觉与2 d视野进一步研究这两个模式的好处对学员学习的结果。

本研究的目的是设置一个机器人手术培训体系,将培训完全物理机器人系统访问的外科医生在训练。这涉及到建立一个培训环境,既低成本,也可以被任何人通过互联网远程访问。因此,我们的系统还包括通过互联网远程控制的方式。

2材料和方法

2.1硬件

机器人手术训练师由腹腔镜培训盒子,两个UR3机器人手臂,两个ATI力/力矩传感器,两个标准钳用于腹腔镜、伺服电机控制钳的下巴,Arduino处理器控制伺服系统,两个触摸触觉设备,一台笔记本电脑来控制整个系统,两个索尼相机和一个3 d视觉的眼睛游戏耳机,和两个独立的软件,一个用于现场触觉控制的机器人手术训练,另一个用于通过互联网连接外部控制。整个系统架构中可以看到图2

2.1.1操纵者

两个UR3机器人手臂是用来移动手术仪器,指导腹腔镜框内的提示从用户和遵循运动命令。UR3机器人有一个紧凑的形式使他们适合这个应用程序与一个小和紧密的工作区。工作区腹腔镜仪器有限的腹腔镜培训盒子,它对应于一个空间约为30×20×15厘米直角棱镜。机器人末端执行器控制工具相比有一个显著更大的工作空间;因此,所有可能的工作空间内所需的训练箱和一个典型的缝合与乐器技巧活动是可获得的。UR3机器人手臂机器人协作与背部可行驶的关节,它允许用户手工引导机器人腹腔镜仪器并设置初始配置。腹腔镜工具插入孔中模拟病人切口或工作的结论:端口。这些协作机器人的另一个特性是,他们更安全工业同行相比硬碰撞发生时(家长et al ., 2021),但他们的重复性精度差。然而,准确度与工业机器人手臂的差异不是这个应用程序的关键因素。

为了接触或碰撞钳,6 d Force-Torque传感器连接到机械手的手腕。这个传感器允许估计力的方向和数量在接触点满足梦。

完全控制了钳我们需要开动五自由度包括钳的打开/关闭,每个仪器(见图3)。三个控制机器人手臂的改变提示的位置,和另外两个和两个伺服控制作用于腹腔镜仪器来控制旋转和钳子的打开/关闭(图4)。考虑到机器人移动钳和遵循远程center-of-motion (RCM)约束(洞框定义的),我们只能开动2旋转和翻译机器人手臂。翻译是用来插入或提取工具,和两个旋转控制提示x z平面上的位置。第三旋转,轴向的旋转钳,控制而不是机器人手臂的伺服系统的一个定制的钳;的打开/关闭运动工具的爪是由第二个伺服控制的。

图3
www.雷竞技rebatfrontiersin.org

图3。每腹腔镜仪器驱动景深。

图4
www.雷竞技rebatfrontiersin.org

图4。两个Dynamixel伺服系统安装在镊子来控制第三转动轴和把握运动。

2.1.2定制钳

一种简单的机制有两个伺服系统被设计用来开动需要驱动的两个自由度的腹腔镜仪器(见图4)。一自由度,钳的轴向旋转,旋转是连续的,没有限制,而掌握/释放景深爪是连续的限制(二进制)。Dynamixel智能伺服系统是用来控制每个自由度。这些伺服系统被选为他们的无限旋转和位置或转矩控制他们的应用能力。伺服系统是界面上的串行协议使用一个Arduino大型控制器。

Dynamixel伺服是连接在一个菊花链与串行通信使用伺服id来区分伺服系统。三个串口用于奴隶计算机:一个发送命令Arduino的Arduino程序和其他两个将命令发送到Dynamixel伺服机构(一个串行端口为每个工具交流)。的Dynamixel AX-12伺服系统使用3连接器,9 - 12 V电源,和数据连接。的串口Dynamixel伺服系统沿着单一的数据线可以发送和接收数据,因此需要双向的沟通是使用三态缓冲来完成6

的最大力量,可以应用于场景中的对象确定伺服的位置设置一个限制。有Arduino代码中定义的最大和最小位置停止的旋转伺服系统如果地位超过最小/最大。例如关闭/打开驱动停止当爪完全关闭或打开。进一步发展我们注意,设置一个直接转矩限制使用转矩伺服系统的阅读,将会使抓取工具提示更加适应不同刚度把握对象。

2.1.3触摸触觉设备

两个触觉设备用于应用双边指令命令发送到机械手运动和力反馈收到时检测到联系人钳。每个触觉装置由6自由度串联运动链,所有的关节位置传感器只有前三个机动,这对于我们的目的来说足够表明当发生联系和反馈的方向和数量转化力相互作用。

2.2指令

腹腔镜手术的主要挑战之一是,外科医生必须弥补支点的效果。这意味着,如果一个外科医生需要工具提示的方向移动x,他们需要移动他们的手的方向- x切口周围的工具轴心。这是一个障碍,很容易克服机器人手术,因此也被补偿系统设计。

提出了系统的指令,控制键盘和触摸触觉设备实施。而键盘提供了一种方便的解决方案,可以使用任何访问远程的电脑和互联网,触摸设备提供了一个更符合人体工学和直观的界面控制机器人现场。在这两种情况下,用户可以控制五个自由度:线性运动的工具提示在三维空间中,钳的旋转和把握。

键盘接口,控制是基于共同的“WASD”PC控制方案,而对于触摸设备手写笔的运动被翻译成所需的工具提示在世界坐标系的运动。对于后者,死区实施线性和旋转运动的手写笔。这样做是为了确保安全,避免与任何小型移动机器人,偶然的手的运动。运动命令发送给机器人只有当用户移动这个死区以外的笔。笔上的按键的触感设备被用来控制工具的掌握和释放运动。键盘接口的表1键盘键可用于控制左右机器人手术工具概述。

表1
www.雷竞技rebatfrontiersin.org

表1。键盘键操控的工具。

为了控制机器人手臂,用户命令是用来计算机器人的终端执行器的新位置。这就是支点效应补偿的控制器。例如,一个用户“下来”命令翻译成一个向上运动的机器人相对于其全球框架。计算的终端执行器所需的位置,球坐标。机器人的终端执行器的位置,Pee= (xee,yee,zee),和盒子的洞,Ph= (xh,yh,zh是用来计算半径,r的领域,以及各自的经度,ϕ和纬度,θ(图5)。与每个用户命令,计算所需的终端执行器的位置,通过调整这些参数如下:

θ + 1 = θ + δ θ ϕ + 1 = ϕ + δ ϕ r + 1 = r + δ r x + 1 e e = r + 1 c o 年代 θ + 1 年代 n ϕ + 1 + x h y + 1 e e = r + 1 c o 年代 θ + 1 c o 年代 ϕ + 1 + y h z + 1 e e = r + 1 年代 n θ + z h

在|δθ| = |δϕ|,δr= 0,除非在/收到命令,和罪恶(ϕ)= 1和罪恶(θ)= 1时,收到“左”和“向下”命令,分别从触觉设备的手写笔或从远程控制计算机的键盘。

图5
www.雷竞技rebatfrontiersin.org

图5。坐标的计算用于机器人的线速度和角速度。

分的单位向量 P e e P + 1 e e 然后构造和用于定义机器人的终端执行器的线速度。满足运动约束强加的洞,机器人的终端执行器的旋转速度计算,以确保任何改变在系统生成的经度或纬度相当于改变机器人的终端执行器的方向。机器人的定位开始保存,O0= (0,球场0,偏航0]随着最初的经度,ϕ0和纬度,θ0系统和旋转速度的计算为:

ω X = θ + 1 θ 0 r o l l r o l l 0 ω Y = p t c h 0 p t c h ω Z = ϕ + 1 ϕ 0 y 一个 w y 一个 w 0

2.3触觉反馈

使用一个真正的一个主要优势相比,机器人手术培训设置模拟器是现实的触觉反馈可以提供。触觉反馈培训的有效性研究表明“力参数和力反馈盒子运动鞋提高培训的结果”,Overtoom et al。(2019)。力反馈可以帮助学员更好地“感觉”他们对环境施加多大的力,这是一个至关重要的学习目标机器人手术性能和病人安全。他们可以学会认知经验的力反馈连接到他们操纵的对象的视觉效果。

使用force-torque传感器连接在每个机器人末端执行器,机器人与环境之间的交互部队可以测量,可以复制的触摸设备向用户提供触觉反馈。力和扭矩传感器测量数据不仅包括力数据造成接触交互端口,而且重力和惯性组件工具和腹腔镜仪器。力传感系统消除了重力组件通过简单设置力传感器读数为零当没有联系的工具提示。作为仪器的方向不改变在腹腔镜练习,elimiation引力的操作的开始为我们的系统被认为是令人满意的。除此之外的工具非常缓慢地移动机器人培训期间,这意味着运动的惯性力产生的形式几乎为零。因此,简单地消除引力的操作已经观察到注册有效可靠的力传感器信号来生成有意义的触觉反馈给一个好的交互部队,如下我们将演示样本集的记录数据的交互和反馈。与驱动三自由度,触摸设备可以提供力反馈三维笛卡尔坐标系。这将允许用户感觉如果他们推或拉在表面,从而相应地移动机器人。虽然这与触觉设备可以实现,我们注意到仍然有几个自由度不能干扰触觉的力反馈装置,工具的旋转和夹持力。当用户通过键盘操作机器人时,感觉到力量可以提供视觉动画伴随着一个图表的形式在屏幕上(图6)。

图6
www.雷竞技rebatfrontiersin.org

图6。视觉反馈的力量,可以提供在遥操作机器人的键盘。

force-torque的信号传感器安装在机器人的手腕是第一个用于计算估计力的尖端仪器,然后这个力值发送到触觉装置触觉反馈给用户。实现触觉反馈给学员一个“触觉”,完成培训任务。的图图7- - - - - -9分别显示一个示例记录仪器的顶力计算基于force-torque传感器信号,工具提示的位置,用户收到的力反馈信号通过触觉装置。

图7
www.雷竞技rebatfrontiersin.org

图7。工具提示力计算基于force-torque传感器信号。

图8
www.雷竞技rebatfrontiersin.org

图8。工具提示的位置。

图9
www.雷竞技rebatfrontiersin.org

图9。力反馈感觉触觉装置。

来力的峰值数据和一些在触觉感觉情节图8,9)发生由于三个因素:在建立接触的瞬间,腹腔镜检查仪器的结构灵活性,一些传感器噪声衰减由于这两个影响。触觉设备被用来发送命令机器人运动而收到的力反馈传感器(见图7)。这个实验用泡沫材料和工具提示是按五次到材料中可以看到工具提示的位置的变化图8

从传感器坐标系不同坐标系的工具提示。因此,我们需要计算力/力矩工具提示使用的力/力矩传感器的手腕。我们使用的公式计算情商。利用坐标系之间的旋转矩阵的帧{一}和{B}位置向量之间的起源这两个框架,胡(2001):

f t x f t y f t z τ t x τ t y τ t z B = R b 一个 0 年代 P R 一个 b R b 一个 f 年代 x f 年代 y f 年代 z τ 年代 x τ 年代 y τ 年代 z 一个 ( 1 )
一个 : 力传感器的坐标系
B : 坐标系的工具 - - - - - - 提示
R b 一个 : 3 x 3 旋转矩阵从坐标系 B t o 一个
f t x f t y f t z : 力的工具 - - - - - - 提示在x, y, z方向的参考框架 B
f 年代 x f 年代 y f 年代 z : 力传感器在x, y, z方向的参考框架 一个
τ t x τ t y τ t z : 力矩作用于工具 - - - - - - 提示在x, y, z方向的参考框架 B
τ 年代 x τ 年代 y τ 年代 z : 力矩作用于传感器在x, y, z方向的参考框架 一个
P b 一个 = p x p y p z : 3 x 1 位置向量B坐标系的原点的坐标系
年代 p : 是一个 3 × 3 倾斜位置向量的矩阵P
f t x f t y f t z τ t x τ t y τ t z B = 0 年代 P f 年代 x f 年代 y f 年代 z τ 年代 x τ 年代 y τ 年代 z 一个 ( 2 )
: 3 x 3 单位矩阵

我们可以看到图10两个坐标系之间的转换只包含平移位置向量的形式的差异从一个坐标系原点。没有旋转变换从坐标系框架{B}{一},这意味着旋转矩阵情商。是单位矩阵。的计算力量情商。发送到触觉设备生成力反馈提供给用户。

图10
www.雷竞技rebatfrontiersin.org

图10。坐标系转换从力扭矩传感器连接到机器人的手腕手臂工具提示坐标系。

2.4 3 d视觉

培训体系的目标是模拟真实系统或过程学员培训,尽可能密切。因为在一些机器人手术系统3 d或立体视觉的外科医生,这个项目目的是寻找一种低成本的组件引入3 d视觉训练系统。我们使用的硬件实现的实现3 d视觉训练系统是一个眼睛裂谷年代VR耳机,两个广角摄像机(ELP索尼IMX322传感器迷你USB相机模块高清1080 p;没有失真100度),3 d印刷设计适合的相机和山训练箱形框架(图11)。

图11
www.雷竞技rebatfrontiersin.org

图11。立体视觉的设置有两个广角相机在一个3 d打印,放在正确的位置和姿态,3 d印刷铰链。

在3 d视觉实现的一个挑战是要找到正确的方向和定位相机的相互关系。我们解决了这个印刷定制铰链和尝试几个相机设计。得到一个正确的立体视觉,必须找到正确的瞳孔间的距离(IPD)。IPD被定义为Shafiee et al。(2014)“学生”的中心之间的距离。它决定了两者之间的差异的角度观察到的图像结合在观察者的大脑产生立体感觉。我们的3 d系统两个相机流收到操作空间内被送入的腹腔镜检查框眼睛裂谷耳机,每只眼睛的一个视频。这个图形表示,OpenGL和集成到OculusRoomTinyGL OpenCV。vcxproj可以发现的眼睛裂谷的SDK (https://developer.oculus.com/downloads/package/oculus-sdk-for-windows/)。

2.5远程控制

远程指令的主要目的为这个机器人手术训练系统是使广泛访问系统通过互联网,没有暗示安装和运输成本。以这种方式,原则上,任何访问互联网身体可以操纵机器人的培训系统和获得的感觉tele-manipulation手术机器人是如何工作的。开发指令,这样用户可以从他们的电脑控制训练系统在互联网上通过发送命令而接受培训的视频网站。该系统的成功实现的关键要求是准确和低延迟传输控制命令,接收视频。

2.5.1系统架构

允许通过互联网访问客户机-服务器体系结构的选择。这种架构的主要优势是它允许计算机之间有不同的工作负载。在这种情况下,三个电脑是必要的。的两个电脑作为客户发送和接收控制和视频流。第三台电脑作为一个静态IP的服务器为客户创建一个连接。

系统的整体架构所示图12。在此体系结构中,机器人和用户作为客户机和服务器之间来回传输数据部署在虚拟机在托管在Amazon Web服务的EC2实例。选择亚马逊Web服务的主要原因是能够访问服务器通过公共静态ip从那些列入“白名单”的机器。此外,数据流的流动分离,两个独立的服务器使用一个视频,另一个用于控制命令。

图12
www.雷竞技rebatfrontiersin.org

图12。客户机-服务器体系结构与云服务器的远程控制机器人培训设置。

2.5.2通信协议

传输控制协议(TCP)被选为客户端和服务器之间的通信模型。使用TCP的关键原因是要求可靠传输的数据由于潜在可变性的要求准确的传输延迟。TCP发送和检测错误的能力提高了通信的可靠性,尽管在一些延迟的成本。

2.5.3压缩和性能

精确控制的设置依赖于两个独立的过程。首先,命令数据从控制器,例如键盘,应该与低延迟传输。然而,更重要的是,成功遥操作的视觉反馈是一个重要组成部分,因此,快速和高质量的视频传输是必需的。的快速传输视频是一项复杂的任务,因为大数据包大小和质量和延迟之间的微妙的平衡。对于这个项目,目标是尽可能减少延迟通过压缩包大小,同时保持所需的信息传递量获得准确的视觉反馈。表2介绍了分辨率和压缩之间的权衡的结果及其影响延迟帧每秒的形式(FPS)和延迟毫秒。

表2
www.雷竞技rebatfrontiersin.org

表2。在延迟和FPS JPEG压缩的影响。

从表中,很明显,在这种情况下降低分辨率1080×920到720×480平均导致更好的帧传输相比,27岁的FPS (720×480) 22 FPS (1080×920)。这是一个提高22.7%。此外,我们比较FPS JPEG压缩的影响。结果表明,对于高分辨率(1080×920),压缩可以减少到50%以最小的影响。而低压缩导致性能显著恶化。关于低分辨率,效果类似然而FPS的下降是观察到压缩率要低得多。

因此基于上述结果,我们选择使用低分辨率720×480有50%的压缩,自信息损失最小和延迟是足够低的用户命令与视觉反馈同步。

2.5.4延迟

延迟是最重要的考虑远程使用的培训通过互联网连接设置。这延迟依赖于性能和速度的命令和视频传输。我们测量的延迟在四种不同情况下(图13)。第一个是服务器运行时,主人和奴隶程序在同一台计算机上,而这些项目被连接到localhost。第二个是实际测试情况的wi - fi网络下的领主瓦特大学(100 Mbps),设备的公共IP地址在这个网络,在奴隶端和服务器程序运行的计算机建立P2P架构。第三个是同时连接主人和奴隶双方到Google服务器位于伦敦,尽管wi - fi的远视的(150 Mbps),不提供一个静态用户和公共IP地址。第四个是同时连接到Google服务器4 g移动网络由英国3 (11.45 Mbps)。

图13
www.雷竞技rebatfrontiersin.org

图13。命令发送延迟(左)和视频延迟(右)。

第一个情况由左边的酒吧意味着最低的延迟。第一个情况,即本地连接,没有通过互联网传送任何数据,因此,这种情况下的延时结果意义只作为参考最快的传输程序可以执行。性能的第二和第三的情况下都是在可以接受的范围内;因为连接的距离,第二个情况略优于第三个。然而,经验也表明,性能变化由于网络质量和速度。使用相同的设置在第三和第四的情况下,唯一的区别是网络连接接口。远视的wi - fi,命令发送和视频流工作快10倍比3英国4 g移动网络,显然验证网络的质量和速度是一个通过互联网数据传输的关键因素。这些结果表明,命令发送和压缩视频流我们实现了执行很好(少于50毫秒的延迟)在前三个合理的网络设置或架构和令人满意(少于350毫秒的延迟)移动网络。虽然速度较慢的网络可能会导致更高的延迟对于这两套程序,与10 Mbps的网络延迟是1/5命令发送和3/10年代与移动网络视频发送。因此,培训系统作为现在应该使用一个可靠的高质量的网络环境,如大学、医院或政府大楼。

3讨论和未来的工作

机器人手术训练系统提出了可以使用远程访问个人电脑的人都与现场连接到互联网或键盘控制或触摸触觉设备。现场或远程,是否可以提供视觉反馈在计算机的屏幕上,以允许用户观察内部的工具的运动训练箱以及力量的大小和方向的计算工具来互动,基于力信号登记的力传感器放置在机器人的末端执行器。现场培训还允许当触摸触觉设备提供触觉反馈。该系统还提供了3 d视觉反馈的眼睛耳机的裂痕。

考虑到远程培训系统的使用,用户友好的控制的主要障碍之一是数据传输的延迟的影响,特别是当涉及到视频。正如2.5.3节中解释用户严重依赖于控制机器人的视频传输。在当前的系统状态,减少延迟,饲料的分辨率降低,传输的信息被使用JPEG压缩压缩到50%。然而其他压缩格式也可以优于JPEG和致力于视频编码。例如,H264是专用的视频编码方法。大量的经验数据表明,H264大大优于JPEG通过使用更少的带宽,因此允许更快的数据传输丽安et al。(2005)。这是一个未来的工作,我们考虑在我们的系统实现加快数据传输对于远程控制。

当前设置的另一个限制是,为把握无法提供力反馈。尽管已经定制的工具来控制工具的旋转和把握能力,一个力传感器不可用的工具,和。用于腹腔镜仪器的智能伺服系统有能力回报负载反馈,所以这可能是一种估计这些部队。然而,一个执行机构,将为用户提供力反馈目前缺席。这是可以被添加到系统在未来使用额外的可穿戴的指尖致动器等执行机构的能力意义上把握力量工具适用于他们的环境是至关重要的,以确保操纵的软材料没有损坏。

未来的研究可以探讨系统的能力,提高用户的性能在执行一个任务,增强视觉或触觉反馈。也感兴趣的研究训练的长期影响这样的设置,观察/量化的可转用技能真正的机器人手术系统。

数据可用性声明

最初的贡献提出了研究中都包含在这篇文章/补充材料,进一步的调查可以针对相应的作者。

作者的贡献

SC开发系统的初始版本;RT, AC、CZ和DL实现最新版本和写论文;我开发的这个想法和概念化,监督和管理项目,获得了资金,审查和编辑。

资金

这个研究支持的工程和物理科学研究委员会(EPSRC)授予参考EP / P013872/1和CDT的一部分在机器人与赫瑞瓦特大学自治系统EP / S023208/1给予参考。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

确认

我们承认并感谢Steven主教,CMR的研究和战略主管外科有限公司和理查德与斯吉普沃思先生,在爱丁堡皇家医院普通外科医生为他们的反馈,批评和讨论我们的培训体系。

补充材料

本文的补充材料在网上可以找到:https://www.雷竞技rebatfrontiersin.org/articles/10.3389/frobt.2021.773830/full补充材料

脚注

1https://www.3dsystems.com/haptics-devices/touch

2http://simulatedsurgicals.com/projects/ross/

3https://mimicsimulation.com/dv-trainer/

4https://www.davincisurgery.com/da-vinci-systems/about-da-vinci-systems

5https://www.scientificamerican.com/article/robotic-surgery-opens-up/

6https://robottini.altervista.org/dynamixel-ax-12a-and-arduino-how-to-use-the-serial-port?doing_wp_cron=1633 432 382.438 378 095 626 831 054 687 5

引用

Abdelaal a E。Sakr, M。,一个vinash, A., Mohammed, S. K., Bajwa, A. K., Sahni, M., et al. (2019). Play Me Back: A Unified Training Platform for Robotic and Laparoscopic Surgery.IEEE机器人。奥特曼。列托人。4,554 - 561。doi: 10.1109 / LRA.2018.2890209

CrossRef全文|谷歌学术搜索

家长,J。,一个bol我n年代,V., Judvaitis, J., Vismanis, O., Oraby, A., and Ozols, K. (2021). Human-robot Collaboration Trends and Safety Aspects: A Systematic Review.JSAN10日,48。doi: 10.3390 / jsan10030048

CrossRef全文|谷歌学术搜索

Bogdanova, R。,Boulanger, P., and Zheng, B. (2016). Depth Perception of Surgeons in Minimally Invasive Surgery.Surg.创新。23日,515 - 524。doi: 10.1177 / 1553350616639141

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

费舍尔,r。,Dasgupta, P., Mottrie, A., Volpe, A., Khan, M. S., Challacombe, B., et al. (2015). An Over-view of Robot Assisted Surgery Curricula and the Status of Their Validation.Int。j .杂志。13日,115 - 123。doi: 10.1016 / j.ijsu.2014.11.033

CrossRef全文|谷歌学术搜索

Hannaford, B。罗森,J。,Friedman, D. W., King, H., Roan, P., Lei Cheng, L., et al. (2013). Raven-ii: An Open Platform for Surgical Robotics Research.IEEE反式。生物医学。Eng。954 - 959。doi: 10.1109 / tbme.2012.2228858

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

胡,b (2001)。Six-Degree-Of-Freedom主动实时力控制机械手。博士论文中国香港;台北,台湾:国立台湾大学

谷歌学术搜索

Kazanzides, P。陈,Z。,Deguet, A., Fischer, G. S., Taylor, R. H., and Dimaio, S. P. (2014). “An open-source research kit for the da Vinci Surgical System,” in2014年IEEE机器人与自动化国际会议上)举行(“国际机器人与自动化会议”。doi: 10.1109 / icra.2014.6907809

CrossRef全文|谷歌学术搜索

丽安,C.-J。,Huang, Y.-W., Fang, H.-C., Chang, Y.-C., and Chen, L.-G. (2005). “Jpeg, Mpeg-4, and H. 264 Codec Ip Development,” in在欧洲设计、自动化和测试(IEEE),1118 - 1119。

谷歌学术搜索

Overtoom, e . M。Horeman, T。,Jansen, F.-W., Dankelman, J., and Schreuder, H. W. R. (2019). Haptic Feedback, Force Feedback, and Force-Sensing in Simulation Training for Laparoscopy: A Systematic Overview.j . Surg.建造。76年,242 - 261。doi: 10.1016 / j.jsurg.2018.06.008

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

帕金斯,N。,年代t一个rkes, J. L., Lee, T. D., and Hutchison, C. (2002). Learning to Use Minimal Access Surgical Instruments and 2-dimensional Remote Visual Feedback: How Difficult Is the Task for Novices?放置健康科学。建造。定理。Pract。7,117 - 131。doi: 10.1023 /: 1015700526954

CrossRef全文|谷歌学术搜索

Shafiee D。,Jafari, R. A., and Shafiee, A. A. (2014). Correlation between Interpupillary Distance and Stereo Acuity.公牛。Env。杂志。生命科学。3 (12),26-33。

谷歌学术搜索

sheets, k . H。Claflin于J。,和Dimick, J. B. (2020). Trends in the Adoption of Robotic Surgery for Common Surgical Procedures.《美国医学会杂志》网络开放3,e1918911。doi: 10.1001 / jamanetworkopen.2019.18911

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Vajsbaher, T。,除T。,和年代chultheis, H. (2020). A Multi-Modal Approach to Cognitive Training and Assistance in Minimally Invasive Surgery.Cogn。系统。Res。64年,57 - 72。doi: 10.1016 / j.cogsys.2020.07.005

CrossRef全文|谷歌学术搜索

威廉D。,Re我年代er,年代。科恩,N。,Witte, M., Leiner, U., Mühlbach, L., et al. (2014). Comparative Evaluation of Hd 2d/3d Laparoscopic Monitors and Benchmarking to a Theoretically Ideal 3d Pseudodisplay: Even Well-Experienced Laparoscopists Perform Better with 3d.Surg. Endosc。28日,2387 - 2397。doi: 10.1007 / s00464 - 014 - 3487 - 9

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

关键词:方法手术,触觉反馈,3 d视觉、立体视觉,腹腔镜技术的发展,机器人培训

引用:Trute RJ, Zapico CS, Christou Layeghi D,克雷格和Erden女士(2022)机器人手术训练系统的发展。前面。机器人。人工智能8:773830。doi: 10.3389 / frobt.2021.773830

收到:2021年9月10日;接受:2021年12月22日;
发表:2022年1月31日。

编辑:

乔治·p·Mylonas英国伦敦帝国理工学院

审核:

Adnan Munawar美国约翰霍普金斯大学,
Giuseppina基尼意大利米兰理工大学,

版权©2022 Trute Zapico、Christou Layeghi,克雷格和Erden。这是一个开放分布式根据文章知识共享归属许可(CC)。使用、分发或复制在其他论坛是允许的,提供了原始作者(年代)和著作权人(s)认为,最初发表在这个期刊引用,按照公认的学术实践。没有使用、分发或复制是不符合这些条件的允许。

*通信:罗宾·茱莉亚Truterjt3@hw.ac.uk

下载