使用浸入式环境的早期发现和治疗神经精神障碍

1。介绍

神经精神疾病,尤其是那些在童年,开始非常普遍的条件常常保持长期没有有效的治疗方法,从而导致整个寿命持久残疾和障碍。最近的研究表明,大约有15%的青少年被诊断为精神障碍在18岁之前(1)。爆发的能力来检测这些条件尽早改善健康结果在以后的生活中是至关重要的。至关重要的是,有效的医疗症状的存在和严重性取决于准确的分析:临床医生必须精确测量症状以达到适当的诊断,确定一个适当的有针对性的治疗方案,并跟踪干预的好处。然而,目前对神经精神症状评估方法受到了限制。

现有的工具仅限于纸和铅笔自我报告的症状严重程度和障碍,调查问卷,clinician-administered访谈和观察(2,3)容易很多评定等级的偏见和带来显著的临床医生培训负担实现可靠性。依赖观察可能导致不同的结果基于观察的上下文(例如。、家长与医生或学校与家庭;(4)]。这些限制可以带来不利的后果,包括儿童误诊,导致不必要的医学或精神治疗(5等),或全面性诊断,孩子得不到必要的心理健康干预措施。因此开发关键敏感,定量工具来准确地识别早期微妙的神经精神异常,提高诊断精度,并告知目标监测治疗效果。

许多神经精神疾病显示可观察到的行为异常,可以用来通知一个定量评价。例如,运动行为是几个神经发育障碍的核心症状,如电动机和声音抽搐在抽动秽语综合征(TS), restricted-repetitive自闭症行为,强制在强迫症(OCD)和多动和电动机溢出行为在儿童注意力缺陷多动症(ADHD)。

讨论在今天的医疗实践关注早期诊断和干预的价值,因为他们通常是连接到更好的病人结果。因此,心理健康领域的主要重视早期检测(6)。然而,神经精神疾病通常开始于非常微妙的症状或前驱的指标,可以错过了现有的化验。结果是,检测和疾病过程中的干预可能会太迟了。因此,工具,使神经精神疾病的早期症状筛查可能帮助提高我们的能力改变疾病轨迹通过提供预防或干预尽可能接近障碍发病。主要的挑战是发现量化神经精神疾病的迹象(如行为、神经运动的差异,生理反应),使干预在第一个机会。最后,医生想要完成这些目标在连接卫生环境使有效评估无论病人或临床医生。

2。背景

2.1。现有的工具来评估神经障碍

重要的研究近年来一直寻求开发全面和可靠的评估来衡量的存在和严重性神经精神疾病的症状。当前的最佳实践通常包括管理电池multi-informant评估措施由心理测量的验证家长,老师,和自我报告的问卷调查和结构化,clinician-administered等级量表。Parent-report措施通常包括问题观察孩子的行为,目的是提供信息的程度症状存在,影响日常生活。医生评分尺度通常涉及临床医生进行评级的症状和功能影响基于观察和信息获得通过结构化或半结构化面试。报告这些措施承担准确报告来自父母、照护者、和临床医生,但是他们的主观性质意味着结果可以影响评定等级的偏见(即。,评级机构之间由于微分问题的解释/评定量表或独特的/不同话题的看法和个人评价;(7)、响应偏差(例如,社会反应偏差,需求特征、召回/近因效应),或仪器偏差(例如,问题点;文化、语义或概念上的偏见在问卷的设计)。孩子,特别是影响沟通的障碍,可能无法表达完全,随后会掩盖症状症状。同样,父母可能会持续下容易-或数取决于他们对问卷的理解和他们渴望治疗(8)。此外,有已知的挑战解释这些问卷。例如,研究表明,父母和孩子之间缺乏一致性的报告在孤独症和多动症症状和症状严重程度(9)。高发病率在神经精神障碍进一步复杂化的解释评估措施因为症状经常重叠超越单个分类诊断或多个独立诊断(10)。

Parent-report问卷和clinician-administered访谈的目的是告知分类诊断神经精神障碍的存在与否和症状严重程度进行评估。这是一个重要的第一步干预访问和规划,以及了解普遍的一种障碍,但并不总是提供专业信息如何个性化治疗计划。有迫切需要测量技术获取客观量化的症状。

2.2。早期检测

虽然症状的发作和课程之间的不同特定的神经精神障碍,症状的一些条件可以早在婴儿期出现在发展和进步。症状也可以出现在各种发展窗口某些疾病的风险加剧,如青春期和成年期转变的。这些发展windows的特点是神经可塑性高企的时期,一些人尤其容易出现精神障碍的症状(11)。筛选这些特殊时期的发展会导致早期检测,可以最终帮助减弱的症状和疾病的进展缓慢。

障碍,出现生长发育的关键时期,以及在在婴儿期出现障碍,发作和诊断之间的延迟是重要的,和治疗经常要到年后才开始(12)。检测在早期症状对早期和更精确的诊断至关重要,和长期改善成果是至关重要的。例如,研究表明,检测早期精神分裂症,衰弱症状出现之前,可以缓慢的障碍和显著改善结果(13,14)。此外,因为有高发病率在神经精神疾病,早期干预可能会抑制其他相关疾病的影响之后的过程中出现障碍和恶化都身心健康。

2.3。技术方法

技术已经多次被创建,用于执行劳动密集型和乏味的任务。在过去的一个世纪,计算机技术的发展解决了问题,通常涉及到强烈的计算或无节制的大量数据。然而,随着摄像头的低成本和提高计算能力的计算机问题涉及观察或监视正在解决。神经精神疾病,如TS、强迫症和自闭症通常需要仔细评估由训练有素的医生诊断的一个组成部分。作为临床医生是一种稀缺资源,这是一个成熟的勘探领域。

行为障碍涉及运动,有许多不同的方法来分析。Bernabei et al . (15)使用可穿戴式加速度计跟踪人体运动的TS。参与者视觉记录静止和走了很短的一段时间。视频是由训练有素的医生和注释运动峰值加速度数据进行了分析。研究人员发现良好的协议自动和临床医师抽搐检测但发现的方法是有限的范围内可以捕获的抽搐。帕金森病(PD)的一种方法,一种神经系统紊乱,影响运动,是将压力传感器插入到鞋底的鞋(16)。使用大步从传感器收集的数据,一个隐藏的马尔可夫模型(HMM)训练,用于区分健康受试者和那些患有帕金森病。声音信号是另一个传感模式,应用(17),还有各种机器学习技术,诊断PD患者,效果很好。使用的录音讲话模式人员能够从PD患者进行分类的准确率大于95%。

各种研究也用图片和视频的一个参与者的脸发现精神疾病。人类的脸不仅表达情感,它的运动也显示一个人的情绪。谢勒et al。(18)发现四个不同的描述符使用眼睛和嘴唇与抑郁症的症状来确定相关,焦虑和创伤后应激障碍(PTSD)。更广泛的情绪和精神状态是公认的Grafsgaard et al。(19)教育结果的预测。使用较小的特性,比如眉毛、眼睑或下巴,人员能够确定当参与者参与学习当他们变得沮丧。

孤独症谱系障碍(ASD)是另一种神经精神障碍,技术可以应用到很大的影响。ASD诊断通常是通过近距离观察一个诊所访问期间,需要集中注意力的临床医生和患者可能不是最舒适的环境。最近的一项调查(20.)集中在应用程序的移动计算自闭症早期检测和远程监控和得出结论,这些努力”将会产生重大的临床影响。“使用多个摄像头,一个孩子和家长记录做结构化的自然环境中玩耍Rehg et al。(21)。发现了不同的行为,如凝视的方向,微笑检测,和对象接触,这些行为可以作为度量来帮助自闭症的诊断。最近的一项研究(22)用头顶的摄像机和一个小人形机器人检测和量化一个孩子和机器人之间的相互作用。这些可以用来帮助诊断和治疗这些患者。其他研究小组(23,24)使用视觉功能梯度的直方图(猪),光流的直方图(霍夫),或浏览功能,以便分析。

视频也被用于分析强迫症。在佐尔et al . (25),参与者被执行特定操作和记录视频是人工注释。使用此注释,人员能够区分两种类型的冲动:清洁和检查。而视频是不会自动分析,本研究的主要结论是视频分析”提供了客观、可行的方法,以促进洞察力”的强迫症。金et al。(26)使用一个男女混合组参与者有或没有强迫症穿过一个虚拟现实(VR)的世界来执行各种任务。使用与这个虚拟世界交互数据人员能够区分两组和进一步的测试表明,检查行为可能引发了在虚拟环境中。

2.4。浸入式环境

浸入式环境允许一个人与电脑互动的世界。有不同程度的浸没式基于感官(如视觉或听觉)是模拟一个参与者可以控制到什么程度。简单的设置包括头盔显示装置,允许360°观看而更复杂的使用包括显示,耳机,应对世界的触觉反馈。有明显的应用程序域的娱乐、教育、和建筑,但在过去的十年中虚拟现实技术也被应用于医学诊断和治疗。

能够控制一个环境诱导刺激表明承诺一般评估(27特定的障碍()以及可能的治疗方法28)。最近工作(29日)表明,浸入式环境,根据每个人的恐惧刺激,可以使用与自闭症儿童认知行为治疗(CBT)。一般来说,浸入式环境显示伟大的潜在好处在这个区域(30.)。最近的研究观察的适用性VR对行为障碍的研究。Oagaz et al . (31)创建了一个虚拟环境中,参与者被要求执行一个任务,认知能力测试,内存,平衡,和运动技能。这项研究显示,这样一个系统的有效性对神经精神疾病的研究。

3所示。仪器和方法

3.1。组件

强劲传感检测和记录运动行为如抽搐、强制、和restrictive-repetitive行为需要多种不同类型的数据。为此,添加了几个传感器或列入计划。同步多传感器读数的挑战是一个主要的考虑因素在选择特定的传感器和传感器类型。一个典型的设置主题中可以看到图1。

3.1.1。洞穴

系统的基础是洞穴自动虚拟环境(洞穴)(32)。它是一个虚拟现实系统,项目周边用户的一组周围墙壁上。这个项目使用VisCube C4,哪些项目在三个墙壁和地板上。与虚拟现实头盔系统广泛使用洞穴允许用户看到自己的身体,而不是替代。这个特性提供了一个增加浸的水平,尽管这是减少的事实以外的用户将会看到虚拟环境如果他们转身或查找。与传统VR上有一个硬限制的区域用户可以遍历和外部控制器是必要的,如果环境要求用户遍历一个明显的距离。

3.1.2。VICON系统

VICON系统提供了有利的红外摄像机和一个软件追踪定位对象加盖回射的标记。四个红外摄像机安装在顶部的四个角落的洞穴。它允许同时跟踪的对象在对象操纵任务将非常有用。它还包括功能来记录位置和姿态信息,可以回放在追踪或出口。记录可以从应用程序GUI或通过UDP消息触发。软件包利用网络虚拟现实外设(VRPN)继电器从摄像机实时跟踪信息。

3.1.3。立体眼镜

虽然在山洞里,用户佩戴Volfoni边眼镜。这些积极的眼镜与放映机同步和允许3 d对象的感知,都过去投影仪的墙壁和区域内用户可以移动。眼镜还包括一个被动的回射的跟踪器阵列红外摄像机跟踪的。跟踪确定用户的位置和姿态的头。这个洞穴的运作至关重要,因为它决定了应该显示在每个投影仪作为用户走,四处张望。

3.1.4。摄像机阵列

四个high-FOV莫比乌斯马克西摄像机安装俯瞰着洞穴。虽然VICON相机是有用的跟踪对象,他们无法正常的视频记录。莫比乌斯的相机有一个允许他们auto-record设置为同步数据尤其有用。每个相机可以记录通过串行消息同时触发等典型的微控制器板Arduino,进而触发继电器模块的相机。

3.1.5。高保真麦克风

一个土方工程QTC40全向电容式传声器洞穴的上方悬挂着安装。它被选中,因为它是用来检测非常安静的声音和捕获一个真正的高、低频率的表示。它是连接到一个阿波罗的孪生USB音频接口,接口与计算机运行的山洞里。结合其他传感器可以用来帮助试图确定的主题环境和表达之间的相关性行为异常,如声音抽搐。

3.1.6。Xsens人体跟踪系统

VICON和莫比乌斯相机主题和对象都容易阻塞。补充摄像机,一个Xsens MVN Awinda将帮助追踪身体位置即使观点是阻挡。系统包括一个背心和肩带附加17无线惯性测量单元(imu)主要关节在用户身上。附带的软件,MVN分析,融合了IMU数据,并提供一个健壮的姿势。UDP消息用于启动和停止记录信息便于与其他数据同步。

3.2。集成

由于投影洞穴的墙壁是由负责人通知跟踪VICON相机的用户,需要通信协议来传输信息的跟踪。这个协议也应该工作之间单独的机器,因为它可以需要在不同的计算机上运行跟踪和洞穴为了计算效率或由于硬件的物理位置。VRPN是专为这个任务。它允许简单的跟踪信息沟通,以及任何其他所需的外围设备,如游戏控制器,在一个系统。

软件MiddleVR是用来描述物理预测显示布局和然后更新左/右眼睛透视视图转换用于呈现世界每个4显示表面(33),使用了3 d位置和姿态的受试者通过VRPN头。MiddleVR还直接与其他外围设备接口,可以使用的应用程序进行测试和开发(游戏垫,3 d魔杖,鼠标,键盘,等等)。软件也坐标的3 d渲染管道预计2 d显示代表在Windows图形设备驱动程序。表示出现作为第二显示器组成的四个2 d显示表面加入垂直组合进一个高大的显示。系统架构详细所示图2。

MiddleVR Unity3D游戏引擎还提供了一个插件来帮助创造世界的洞穴。这允许对任何信息从VRPN和任何其他设备监控MiddleVR前面描述的Unity3D直接阅读。VICON跟踪数据尤其有用,因为它允许模拟反应用户的位置和任何自定义的运动控制器附带回射的数组。插件还允许世界被编译,这样它可以正确地显示在山洞里。

3.2.1之上。同步

有许多来源的数据被记录,同步数据收集是至关重要的。虽然理论上可以从每个传感器读取实时流数据,然后收集和保存所有可用的数据在一个给定的时间,这并不利用内置的录音功能的各种程序和设备,可能会导致降低采样频率的数据。最简单的解决方案是确保每个设备被触发开始记录在同一时间。这种方法收集的所有数据,而不需要同步记录,后来调整全球时间戳。

除了世界建筑,Unity3D也用于同步触发的记录。将c#脚本附加到一个对象在一个Unity3D现场公开函数运行的创建和销毁对象,这翻译应用程序的开始和结束,如果脚本附加到一个对象,总是出现在现场。这些方法用于发送UDP消息跟踪和分析,向单片机发送串行信息附加到莫比乌斯相机,并运行命令来启动和停止麦克风录音。这样达到理想的独立记录之间的数据同步方法。

4所示。结果

4.1。初步结果

两种最普遍的抽搐行为包括眼睛和嘴巴。近距离观察脸部允许检测近一半的通常表示抽搐(34)。检测到面部地标和跟踪所示图3。眨眼的眼睛和眉毛的相对位置和形状计算和线性判别是用来区分如闪烁的行为图4。正在进行的工作是调查使用面部全套的地标,加上递归神经网络(RNN)进一步单独tic-like从正常闪烁闪烁。

主题与强迫症量化地显示不同的行为相比,人口控制在某些常见的日常任务。实验被设计来调用和量化行为标记与强迫症在模拟环境中通过执行常见的任务场景。我们录制视频的主题与强迫症组和一个对照组执行free-arrangement任务和洗手任务(35)。浴室环境构建对象执行洗手任务。给皂器,干毛巾最初定位水池/水龙头和厕所旁边。摄像机记录了自顶向下/额角度39对象执行指示的任务。十八岁的孩子被诊断出患有强迫症,平均年龄11.5岁,在Yale-Brown强迫性规模(CY-BOCS)和21岁的孩子,平均年龄10.7岁,代表对照组。额外的临床评估尺度被孩子和家长完成。父母完成了孩子强迫性影响量表——(COIS-R)和儿童行为评估系统,第二版(BASC-2)。孩子们也完成了COIS-R以及多维Children-2焦虑量表(MASC-2)。重复行为的量化,回顾相似的对象和地点被几个手工计算和用时间表示蒙蔽评级机构来解决主观偏见。完成任务的总时间也由评级机构编码。

与对照组相比,强迫症患者更有可能表现出其他“无关”的行为,比如触摸/开发的重复性行为,洗涤,干燥,和广泛的探索空间(p< 0.003)。时间完成洗手任务还与他们的CY-BOCS成绩呈正相关(R= 0.54,p< 0.05)以及与CY-BOCS订购/重复的尺寸(R= 0.57,p< 0.05)。洗手持续时间显示类似的统计相关性意义与其他管理考试成绩。虽然个人无关的行为可能是一个有用的行为标志,他们不是聚合到单个测量由于限制人工观测过程中提取并量化更详细的运动特征。因此,我们还研究了一些动态的特征描述符的区别的功效,来自自动化提取手的基于图像的运动轨迹(密集的法恩斯沃思光流估计)记录视频数据(36)。一般来说,功能基于主题的图像像素级轨迹的手,或者他们的估计速度,正确分类超过80%的受试者在两组之间。结果被认为是初步由于小样本大小。除了测试更多的科目来验证这些发现,精确的运动轨迹信息将同时收集视频证实人类观察和特征提取更完整的行为标志。它也被强制表达假设环境是一个因素。我们的调查也将测试的影响变化的空间布局,声音,和照明引起这些行为标记差异为了实践抑制技术。

4.2。预期的结果

一个预期的结果是一致的能力评估研究参与者或临床患者在不同的时间和地点。困难在许多现有的治疗药物是缺乏时间和资源来熟练地量化临床相关的行为之前,期间和之后的治疗。在这种情况下,这种仪器的收集的数据可以在任何时间进行分析和与其他类似的观察。也有潜在的利用仪器本身提供的干预。例如,许多研究一贯表明(37),儿童能更好地控制抽搐当奖励得到抑制。这个系统可以通过自动抽搐“gamify”抽搐抑制检测和环境操作,独立的可能性开放,游戏程序培训和支持的能力自愿抑制抽搐或使用这样的工具来增强现有行为干预,旨在提高抽搐控制通过技能培训。

此外,最近的研究表明一个皮肤电反应之间的相关性(GSR)和抽搐的表情和频率(38)。这个工具的一个应用程序将连接与其他外部GSR感觉(即。,听觉或视觉)调查的策略互动电视使用生物反馈抑制。GSR就没有显示创建显著减少抽搐频率(39),但这表明需要进一步的研究。

4.3。使用仪器

系统的不同组件的数量是很重要的,尽可能简化工具。研究需要同时上电洞投影仪,VICON相机、音频接口和微控制器用于电力和同步开始莫比乌斯相机记录。随后,研究者需要启动跟踪软件和在线验证必要VICON相机。接下来有一个目前耗时的校准步骤Xsens跟踪套装。最后,任何自定义Unity3D应用程序可以启动。在这一点上,该系统可以运行。

5。结论

该系统比神经精神障碍的领域有更广泛的影响。教育将是这个系统的主要受益者之一。计算机视觉领域的研究人员从计算复杂度浸入式环境可以设计新的实验并与同事进行协作和来自不同背景的学生。鼓励跨学科研究的新方式思考问题,增强对所有涉及批判性思维技能。

提出系统的最独特的一个方面是能够生成实时集成反馈。洞穴可以让参与者看到背景下,触发,导致行为的变化。这允许更有效的症状监测和培训。可以重新创建特定的场景和重播到预期的结果是否得以实现。

此外,这种身临其境的环境有能力做出客观、量化的测量。目前大多数化验需要专门训练人类观察者却引入了偏差和主体性。这个系统的精确的数字录音功能会增加诊断的一致性和客观性。通常,人类观察员甚至不可以远程或农村人口(40,41)。这个系统和随后的工具将能够代替专家没有可用的或不方便(数字连接健康)。由于数据的数字化过程,分析结果可以很容易地发送到任何位置。这将极大地扩大目前的治疗和诊断的大片段的选择服务不足的人口。

心理健康评估继续取得进展作为诊断工具和治疗是细化和标准化。我们希望这个进程加速的独特混合功能的系统。验证结果从这个工具将用于创建更简单、更精简的新工具,可以部署到其他研究伙伴,诊所,甚至家庭。与普及的个人电脑和集成的相机,有一个期望的教训与洞穴设置任何人都可以利用的任何地方。

数据可用性声明

在本文中给出的数据集不是现成的,因为数据集分布需要学院人类被试委员会许可。请求访问数据集应该指向Nikolaos Papanikolopoulos,papan001@umn.edu。

道德声明

这些研究涉及人类受试者进行审核和批准通过IRB学院。书面知情同意参加本研究参与者提供的法定监护人/近亲。

作者的贡献

论文的内容RM贡献了20%,而其他作者有同等的贡献。所有作者的文章和批准提交的版本。

资金

这种材料是基于工作由美国国家科学基金会支持通过赠款# cns - 1439728, # cns - 1338042, # cns - 1919631,和# cns - 1939033。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

确认

明尼苏达州机器人研究所的支持我将非常感谢。

引用