跳转到主要内容

原始研究的文章

前面。信号的过程。,30 November 2022
秒。生物医学信号处理
卷2 - 2022 | https://doi.org/10.3389/frsip.2022.1019253

Subject-invariant特性学习mTBI识别使用LSTM-based变分autoencoder敌对的正规化

www.雷竞技rebatfrontiersin.org湿婆Salsabilian和www.雷竞技rebatfrontiersin.orgLaleh Najafizadeh*
  • 集成系统和神经影像实验室,电子和计算机工程系,罗格斯大学,美国新泽西州皮斯卡塔韦

发展模式识别轻度创伤性脑损伤(mTBI)经常被挑战由于大数据对象的变化,导致困难的mTBI-identification模型来概括数据看不见的科目。为了解决这个问题,我们提出一个长期短期基于内存的对抗性的变分autoencoder (LSTM-AVAE)框架subject-invariant mTBI特征提取。在提出的模型中,首先,一个LSTM变分autoencoder (LSTM-VAE)结合了代表学习能力的变分autoencoder (VAE)的时序建模特征LSTM学习神经活动的潜在空间表示。然后,从神经分离主体的个性特征表征,并使该模型适合跨学科学习,转移敌人网络连接编码器在歧视的环境。该模型使用1伸出方法训练。训练有素的编码器用于提取表征了主题的数据。然后提取表征分为正常和mTBI组使用不同的分类器。该模型评估在皮质的录音Thy1-GCaMP6s转基因老鼠通过宽视野钙成像,之前和之后诱导损伤。在跨学科学习转移实验中,提出LSTM-AVAE框架实现了分类精度的95.8%和97.79%,结果没有和利用条件VAE (cVAE),分别证明该模型能够学习从mTBI数据不变的表示。

1介绍

轻度创伤性脑损伤(mTBI)是一种常见的脑损伤和日益严重的公共卫生问题。mTBI可以有长期影响患者的认知能力和社会功能。mTBI的诊断,特别是在初期阶段,但仍然具有挑战性的,尽管它有负面影响病人的生活质量(艾弗森et al ., 2000;口和Iraji, 2014;施密德et al ., 2021)。主要原因包括快速复苏的症状(例如,意识丧失,困惑,迷失方向),和无能的成像方法(例如,计算机断层扫描(CT)或磁共振成像(MRI))在检测损伤轻微级别(拉夫et al ., 2009)。因此,开发准确mTBI诊断方法至关重要的早期诊断mTBI并提供适当和及时的治疗患者(Eierud et al ., 2014;莱文和Diaz-Arrastia, 2015)。mTBI识别的主要挑战之一是不受欢迎的变化从学科获得的数据。这种变化给准确mTBI诊断带来困难阻止mTBI-identification模型数据可概括的和可转让的新课题。因此,一个健壮的特性提取器学习准确subject-invariant伤害有关的特性。此外,有限的数据从mTBI科目经常收集或可用,摆姿势训练数据不足的问题可靠模型。

最近,转移学习利用提取特征利用跨领域知识,任务,或主题。跨学科学习转移旨在发现和利用跨科目不变和可概括的特征。例如,学习等方法学习转移人口水平公共空间基础字典(盛冈et al ., 2015),光谱传输使用几何信息(Waytowich et al ., 2016)和正则化分类器(Fazli et al ., 2009)或特征提取器(乐天和关,2010),提出了脑机接口(bci)。在(陆慈et al ., 2022 a),多源学习框架基于最大平均差异(MMD)对齐的脑电图(EEG)提出了情感分类的数据。在(彼得森et al ., 2021),分类的手臂动作,译码器模型基于希尔伯特变换训练使用池electrocorticography (ECOG)数据,并测试ECOG或脑电图数据从看不见的科目。

不变量表示学习神经网络,建议使用一个潜在的空间共享的理念在主题,提出了(Louppe et al ., 2017;谢et al ., 2017)。在(Angjelichinoski et al ., 2020)线性分类器训练与多个传输函数来从一个话题转到另一个传输数据。生成模型的概念,算法学习数据的后验分布通过贝叶斯规则,最近提议。使用深生成模型,细化并转换为原始数据特性,增加了内部类变化和减少数据集的类的变化。使用最广泛的深生成学习模型包括变分autoencoder (VAE)和生成对抗网络(GAN) (格拉汉姆·古德费勒et al ., 2014)。VAE的优点是学习顺利潜表示的数据和控制能力将潜在的分布空间,学习方法可以结合特性。氮化镓的原则也被应用于转移学习解决数据可变性问题域,subject-invariant特性学习(明et al ., 2019;吴et al ., 2020;Ozdenizci et al ., 2020;Salsabilian Najafizadeh, 2021 a)。例如,在(李et al ., 2019),概括模型脑电图情感识别跨主题和会话,边际分布适应初层使用对抗训练的神经网络。在另一个工作(Ozdenizci et al ., 2020),使用一个敌对的推理方法,主题变化运动图像解码却降低了。提出了适应网络主题灵感来自GAN (明et al ., 2019)一致分布的数据从不同的学科。Autoencoder-based神经学习模型表示最近也适应对抗的正则化特性解开纠结。例如,subject-invariant表示通过有条件的变分autoencoder (cVAE)和一个敌对的网络从看不见的用户的脑电图数据在运动图像BCIs (Ozdenizci et al ., 2019)。在(汉et al ., 2020,2021年)树立敌对autoencoder (AE)和rateless AE (RAE)提出了特征提取器提取nuisance-robust普遍特性从生理信号压力水平评估,证明改进视域转移分析。

在本文中,我们提出一个使用跨学科mTBI-identification模型转移学习和敌对的网络。该方法由一个长期短期基于内存的变分autoencoder (LSTM-VAE)表示与附加敌对的网络学习模式。在提出的模型中,对手网络利用作为潜在的约束表示跨学科学习表示,不变的可变性。模型可以因此,学习主体间共同的数据结构,使其适合跨学科学习和mTBI识别功能。LSTM-VAE模型结合了VAE的代表学习能力和颞LSTM的建模能力。敌对的网络连接到编码器,以确保潜在表示包含最低科目信息。培训后,培训编码器作为特征提取器,和一个单独的分类器学习预测mTBI或正常类标签,考虑到从训练有素的编码器获得潜在的表示。我们评估该模型使用皮质活动的录音Thy1-GCaMP6s转基因老鼠通过宽视野钙成像,前后诱导损伤。

剩下的纸是组织如下。方法,包括数据集的描述以及拟议的框架,提出了在第二节。结果在第三节讨论,本文在第四部分得出的结论。

2方法

在本节中,我们首先描述实验过程的细节,数据收集和预处理步骤。然后,我们提出LSTM-based敌对的变分autoencoder (AVAE)和其他特征提取模型,用于比较。

2.1实验过程

皮质录音从Thy1-GCaMP6转基因老鼠在美国罗格斯大学的细胞生物学和神经科学使用宽视野光学成像。罗格斯大学机构批准的所有程序都是动物保健和使用委员会。mTBI的动物模型,研究mTBI相比在人类患者提供的机会控制实验参数和条件,如维护损伤和类似损伤严重程度的同一地点在学科水平。在动物模型中,老鼠已经广泛使用(Morganti-Kossmann et al ., 2010;马歇尔和梅森,2019年)。创伤性脑损伤的小鼠模型模拟许多特性在人类,包括细胞死亡、神经炎症和行为的变化(Morganti-Kossmann et al ., 2010;Wiltschko et al ., 2015;Ellenbroek和梦想,2016年;马歇尔和梅森,2019年)。一个重要的小鼠与人类之间的相似性是在他们的基因组成,表明发现老鼠的研究往往是相关的人类(Breschi et al ., 2017;波et al ., 2022)。然而,老鼠和人类大脑表现出相似性,老鼠和人类之间存在差异时,必须考虑使用它们作为脑损伤模型。其中是他们快速从损伤愈合过程,应考虑在研究脑损伤的长期影响和恢复小鼠和人类的创伤性脑损伤模型(你et al ., 2007;2021年议会和啤梨)。宽视野钙成像技术在动物身上使记录神经活动的时间和空间分辨率高。这种成像技术已被用于研究大脑皮层活动和行为之间的关系(朱et al ., 2017;Salsabilian et al ., 2018;2020 b;李et al ., 2020;Salsabilian Najafizadeh 2021 b),以及调查大脑损伤的功能变化的响应(克莱默et al ., 2019;Salsabilian et al ., 2020 a;Koochaki et al ., 2020;Salsabilian Najafizadeh, 2020;Salsabilian Najafizadeh, 2021 a;Koochaki Najafizadeh, 2021;克莱默et al ., 2022)。

数据采集过程中,实验设置和损伤过程是前面描述的(朱et al ., 2018;Salsabilian et al ., 2019;Salsabilian Najafizadeh, 2020)。总之,Thy1-GCaMP6转基因老鼠用一个透明的头骨和一个固定职位记录皮层Ca2 +瞬变活动(李和马戈利斯,2016年;Salsabilian et al ., 2020 b)。左半球和右半球的一部分是可视化使用专门设计的显微镜。激发光过滤(479/40 nm;浓度)和反映在50二向色镜(Q470 / lp,浓度)。通过一个100×100像素的传感器、过滤荧光发射在100帧每秒捕获MiCam天涯CMOS相机(大脑视觉)。受伤的那天,一个小颅骨切开术( 1 毫米直径)的是左额骨运动皮层区域,离开硬脑膜完好无损。创伤通过内窥镜在通过激活运动皮层控制引起的大脑皮层影响设备,其参数设置引起轻微的创伤。

自发皮质活动从12动物在两次收购,一个之前和一个诱导后受伤。数据从会话之前和之后获得诱导损伤被称为正常和mTBI数据,分别。每个记录会话包括8试验持续时间20.47秒。

2.1.1预处理

相对GCaMP6s荧光钙信号变化(ΔF / F %)计算每一个像素值减去,然后将每个像素的基线。为每个像素定义为基线的平均荧光强度的像素的49帧。我们选择25 5×5-pixel感兴趣的区域(roi)或通道(即,C= 25)分布在皮层基于其位置根据S1 (Salsabilian et al ., 2019)。我们从每个timeseries获得ROI计算ROI内的平均像素强度。

2.1.2数据准备

一个滑动窗口的持续时间T= 400和步长w= 20时间点移动在timeseries每个试验(图1)。这期间被发现最佳捕捉所需的必要信息分类。每个窗口内的数据是由抽样数据矩阵 X R C × T 。从主题的所有试验通过收集数据(∈{1,…,12}),数据集 { ( X n , y n ) } n = 1 N ,在那里 X n 表示的数据C窗口下= 25 roin(n= 1…N,N= 1328 windows)的总数,和 y n { 0 1 } 代表mTBI或正常的类标签的数据窗口n,就形成了。请注意,从样本数据的总数N= 1328,数据每个类标签的数量y为每个主题= 0或1n= 664,导致平衡类标签。

图1
www.雷竞技rebatfrontiersin.org

图1。模型的示意图表示架构mTBI subject-invariant特征提取。大脑皮层活动C= 25收集渠道。为每个主题年代滑动窗口的时间T和步长w使用时间点和采样数据矩阵 { ( X n , y n ) } 收集。的 y n { 0 1 } 代表了mTBI或正常类标签。autoencoder地图数据 X n 潜在的表示 z n 。敌对的网络训练减少依赖的表征。

评估subject-invariant特性学习模型的性能在跨学科学习转移实验中,主体属性年代被定义为主题的一个炎热的编码标签,即。零向量的大小与1 1×12i索引。学习的目标是subject-invariant特性和一个mTBI歧视模型,预测类标签 y n 从观察 X n ,健壮的可变性。为了实现这一目标,我们要求的潜在表示autoencoders独立对象的属性年代

2.2特征提取模型

我们现在提出subject-invariant特征提取方法和mTBI-identification模型。该模型旨在实现鲁棒歧视属性可变性。该方法包含两个组件:一个LSTM-based变分autoencoder和一个敌对的网络。首先训练autoencoder解码器的重建误差降到最低,确保潜在表示包含足够的信息来允许输入的重建。接下来,潜在的表示是精制包括最低subject-dependent信息通过阻止它预测正确的主题属性使用敌对的正规化。使用这种方法,该模型能够实现潜在表示包含有识别力的属性对应的数据结构的普遍主题,因此变得健壮的可变性。最后,一个单独的分类器训练预测mTBI或正常的类标签,考虑到潜在的代表从训练获得编码器作为特征提取器。此外,我们将有条件的VAE (cVAE)的解码器架构模型,进一步探索从学习表示删除subject-dependent信息的好处。

我们比较该模型的性能与不同变体的autoencoder模型特征提取。认为模型是一个简单的autoencoder (AE),一个变分autoencoder (VAE),一个监督VAE (SVAE)和一个敌对的变分autoencoder (AVAE)。该模型的示意图说明和其他考虑autoencoder特征提取模型所示图2。除了SVAE, autoencoder模型训练基于均方误差(MSE)。

图2
www.雷竞技rebatfrontiersin.org

图2。Autoencoder-based数据表示学习模型:(一)简单autoencoder (AE),(B)变分autoencoder (VAE),(C)监督VAE (SVAE),(D)敌对的VAE (AVAE),(E)提出LSTM-AVAE。

2.2.1 Autoencoder (AE)

AE (图2一个)可以输入数据X作为 X ̂ ,通过学习如何有效地压缩和编码数据,通常以一种无监督的方式。AE损失, l AE ,被定义为

l AE = X X ̂ 2 ( 1 )

2.2.2变分autoencoder (VAE)

VAE (图2 b)是一个概率的变体AE,使用变分边际概率的下界,基于贝叶斯推理,确定多元数据中的模式。潜在的变量z是一个随机变量给出输入数据X。概率编码器接近后ϕ(z|X),生成解码器代表数据的可能性X代的条件概率pθ(X|z)。为了使模型更易于训练、reparameterization方法介绍(Doersch 2016)使用。VAE的损失函数, l VAE ( θ , ϕ ) 被称为证据下界,被定义为

l VAE θ , ϕ = E 日志 p θ X | z + D 吉隆坡 ϕ z | X p z , ( 2 )

在哪里ϕ,θ分别是编码器和译码器参数。第一项的(2)式。代表autoencoder重建亏损,第二项是Kullback-Leibler(吉隆坡)(Kullback Leibler, 1951散度。KL散度是衡量的先验分布的相似性p(z)和后验分布ϕ(z|X潜变量)。最小化KL散度的潜在空间。

2.2.3监督变分autoencoder (SVAE)

SVAE (图2 c)方法与VAE唯一的不同之处在于,标签的数据 y n 也被用作译码器的输入。因此,模型训练以监督的方式相反,使学习过程。标签 y n 与潜变量连接 z n ,作为译码器的输入。解码器的概率估计 X n 对于一个给定的生成潜变量 z n 和标签 y n 。在训练阶段,SVAE第一训练是VAE。接下来,网络与二进制叉重建失去协调好了训练数据样本 ( X n , y n )

2.2.4敌对的变分autoencoder (AVAE)

为了使模型跨科目可概括的,表示应该不变的主题属性年代。为了实现这一目标,我们利用一个对手网络(Makhzani et al ., 2015)参数化ψ()。对手网络连接编码器执行潜在表征包括最低subject-dependent信息(图2 d)。对手网络训练的可能性最大化ψ(年代|z),最大化其预测对象属性的能力年代。VAE同时训练是基于两个目的:解码器的重建损失最小化,以确保潜在的表征包括足够的信息输入重建误差最小化;和潜在的实施表示包括最低subject-dependent信息通过阻止对手网络预测正确的属性。这导致了一个模型,能够提取学科之间区别的特性,是常见的。AVAE网络训练的同时通过这些目标损失函数, l AVAE ( θ , ϕ , ψ ) ,定义为

参数分 ϕ , θ 马克斯 ψ l AVAE θ , ϕ , ψ , ( 3 )
l AVAE θ , ϕ , ψ = E 日志 p θ X ̂ | z + D 吉隆坡 ϕ z | X p z + λ E 日志 ψ 年代 | z ,

在哪里λ≥0表示重量参数调整的影响对手网络。注意,AVAE相当于VAE的时候λ= 0。在每个迭代中,首先,对数似(max)目的是最大化和对手的参数网络更新。然后,autoencoder的参数在最小目标更新对整个反向传播损失。

2.2.5 LSTM-AVAE

在提出LSTM-AVAE模型(图2 e),我们结合timeseries特性表示学习优势的VAE的时序建模性能LSTM从数据中提取特征。双向递归神经网络(RNN)在单向RNN(证明是有利的于y . et al ., 2019),因此,在这里,我们使用一个变体VAE的编码器和译码器实现双向LSTM网络。

在提出的模型中,一个双向LSTM层有两套LSTM细胞。为每个输入数据样本 X n R C × T 的滑动窗口的大小l= 20和步长r= 5移动数据,创建后续双向LSTM-encoder的输入采样点。模型训练获得的数据点。LSTM编码器在向前和向后遍历每个点礼貌。译码器,编码器相同的架构,可以输入顺序相反的顺序(斯利瓦斯塔瓦et al ., 2015)。在双向LSTM,最终获得隐藏状态 H f = H t f H 1 b ,在那里 H t f H 1 b 是产生的最终的隐状态向前和向后的进展,分别为(于w . et al ., 2019)。LSTM-VAE模型,后近似函数,ϕ(z|X),用于定义确定性函数H。因此,LSTM-VAE学习压缩信息的输入序列作为一个区域的潜在空间。随机抽样的潜变量z从后pθ(z|X)送入解码器的LSTM。类似于AVAE,对手网络连接到编码器分离主题变化的学习表示。LSTM-VAE模型训练后,模型参数将与对手网络协调好了,类似于AVAE模型的训练过程。

LSTM架构的细节,编码器,译码器,对手网络进行了总结表1。隐藏层的数量设置为1。由于双向结构,隐藏层的总数是翻了一倍。LSTM隐藏单位的数量是搜索和结果精度最高的报道。学习速率的0.001,32的批量大小,正规化退学率0.2。编码器结构,20时间和10空间卷积单位使用,嵌入时间和空间滤波。最后一个完全连接层编码器生成的输出dz维潜在的参数向量。我们的实验不同的激活函数的结构显示,平均而言,一个激活函数添加到最后一层,使用ReLU激活函数提供了更好的结果。分类器利用表示z与一个完全连接的输入层softmax单位类标签的歧视。对手网络实现作为一个完全连接层与8 softmax单位歧视,获得规范化log-probabilities用于计算损失。我们使用时间卷积核的大小20日和空间卷积核的大小30。

表1
www.雷竞技rebatfrontiersin.org

表1。网络体系结构和参数。

2.3分类

在提出的模型中,训练后autoencoder模型,冰冻的网络权值的训练有素的编码器是利用作为一个静态特征提取器。从学习编码器采样特征表示μxσx。一个独立的分类器与编码器和训练估计类标签 y n 给定的输入数据 z n (图3)。

图3
www.雷竞技rebatfrontiersin.org

图3。分类模型的体系结构。

损失最小化叉分类器进行了优化, l C ( z ; γ ) ,参数γ,定义为

l C z ; γ = E 日志 p γ y ̂ | z ( 4 )

训练后,新的输入数据 X n 通过训练有素的编码器,提取的特征表示 z n 作为输入用于分类预测类类别吗 y ̂ n

我们认为,多层感知器(MLP)与15个神经元(意识到作为一个单独的层),最近的邻居(NN),线性判别分析(LDA),线性回归(LR)和支持向量机(SVM)分类器。

3结果与讨论

7这个工作的目的是利用subject-invariant mTBI识别特征提取开发模型准确。模型的性能进行评估与1伸出跨学科学习任务转移话题训练和测试方法。数据从一个主题是用于测试。剩余的受试者的数据用于训练。数据训练集和验证集是由随机选择80%和20%的数据从每个剩余的科目,分别。这个过程被重复每个伸出主题,跨学科和准确性结果平均值在所有运行计算。autoencoder模型第一次被训练使用训练数据是零均值归一化。为了防止过度拟合,验证集被用来阻止早期训练过程。培训过程终止如果性能验证组下降相比培训时代。在我们的模型中,autoencoder模型的训练后,训练有素的编码器与冷冻权重作为特征提取器。 Next, utilizing the feature representations from the training set and their corresponding class labelsy如图所示,一个单独的分类器训练图3。训练分类器,二进制叉损失最小化的类标签y。在最后一步,伸出跨学科主题是用来评估模型的转移学习性能。我们反复的训练和测试步骤描述主题,跨学科和平均精度结果对所有运行。不同的特征提取模型的平均精度结果使用分类器进行报道图4。是一致的,这些结果是基于环境潜在的维数表征特性,dz,10模型。这个值被选中基于进一步调查的影响dz模型的性能,因为将在3.3节中讨论。

图4
www.雷竞技rebatfrontiersin.org

图4。不同的模型和分类器的平均精度结果subject-invariant mTBI识别的特征提取。

总的来说,所有的分类器的性能比较,我们观察到平均向MLP分类器提供了各种模型的精度最高。最高的精度(= 95.8%)是通过提出LSTM-AVAE使用这个分类器。

3.1学习变分推理的影响特性

评估的影响变分推理学习mTBI识别特性,我们比较的结果AE和VAE。从图4,一个人可以观察到VAE达到精度高于AE考虑分类器,表明变分表示学习允许更好地提取特征表示,最终导致更准确的mTBI识别模型。原因是由于额外的VAE模型中的可调参数,AE模型相比,提供更多的控制潜在分布的学习能力(希金斯et al ., 2016 b)。它也显示了VAE模型的学习能力交涉分因素(希金斯et al ., 2016 a)由于各向同性高斯先验潜变量,已知的贝叶斯模型。VAE的更好的性能相比,AE模型也被证明之前在其他应用程序如异常检测、目标识别和bci (戴et al ., 2019;Tahir et al ., 2021;周et al ., 2021)。作为一个附加点,比较的结果与SVAE VAE,提出监督式学习的附加值在训练更好的模型。

3.2影响对手的网络

敌对的网络学习的积极影响可归纳的领域——表示,任务、对象和source-invariant最近已被证明在许多应用程序中,如在药物分子分析(香港et al ., 2019)、解码大脑状态(杜et al ., 2019),大脑病变分割(Kamnitsas et al ., 2017),评估受试者的精神状态(陆慈et al ., 2022 b)。这些方法学习等一些讨厌的变量表示独立科目的或特定于任务的变化。在这种情况下,将会有一个权衡实施表示讨厌的独立变量通过对手和留住足够的信息成功的数据重建的解码器。在我们的模型体系结构中,这种权衡可以平衡通过重量参数λ

调查对手的影响网络跨学科学习mTBI subject-invariant特征识别,我们不同的权重参数的值λ,调整学习对手网络特性的影响,λ∈{0,0.01,0.05,0.1,0.2,0.5}。AVAE和提出LSTM-AVAE模型和LR向MLP分类器被认为是性能比较。请注意,对于λ= 0模型是等价的简单VAE和LSTM-VAE模型,分别。我们计算的准确性和F1得分为每个分类器λ价值,总结了结果表2

表2
www.雷竞技rebatfrontiersin.org

表2。比较对手网络模型精度的影响(延时:多层感知器,LR:线性回归)。

表2,我们可以观察到两种方法和分类器,将对手网络添加到模型(例如,λ≠0)增加了准确性,进一步强调的积极影响学习包容subject-invariant对手网络的特性。此外,它可以看到LSTM-AVAE和MLP分类器λ= 0.1实现了分类精度最高的95.8%,这意味着该方法的鲁棒性视域转移学习mTBI识别。

此外,我们进行重复测量方差分析(方差分析)统计检验的结果LSTM-VAE LSTM-AVAE,统计比较对手的表演和non-adversary LSTM模型,即。,LSTM-AVAE LSTM-VAE。我们比较准确的结果为每个伸出主体(测试数据)和在不同的重复使用MLP分类器运行。结果,如图所示图5显示精度大幅提高,对抗训练(p= 0.02),拒绝的假设在主题和运行结果是相等的。

图5
www.雷竞技rebatfrontiersin.org

图5。统计分析使用方差分析测试比较对手(LSTM-AVAE)和non-adversary (LSTM-VAE)模型(p= 0.02)。

3.3特征维度的影响

调查维度的影响特性dz跨学科模型的分类性能,并确定适当的特征维度dz,我们认为不同的特征维度dz∈{3、5、7、8、9、10、11、12、13、15、18、20}。VAE, AVAE,提出LSTM-AVAE模型训练与不同维度的提取潜在的特性及其优化的参数,和相应的精度为1伸出主体平均超过所有科目使用MLP分类器计算。所示的结果图6。可以看到,当获得的最高精度dz= 10。增加超过大小的特性dz= 10,不提高精度模型,结果表明高功能维度模型没有提供额外的信息。此外,结果表明LSTM-AVAE提供更高的精度比VAE维度和AVAE特性,表明mTBI识别包括时间信息的重要性,将在下一节中进一步讨论。

图6
www.雷竞技rebatfrontiersin.org

图6。分类精度的结果LSTM-AVAE和VAE模型(λ= 0.1)对不同维度的潜在特性,dz,用MLP分类器。

3.4 mTBI识别时间信息的影响

考虑时间依赖的重要性的分析大脑活动前所述(Linkenkaer-Hansen et al ., 2001;Cornblath et al ., 2020;顾et al ., 2021)。例如,考虑时间依赖性的附加值已被证明在情感识别等应用程序(Alhagry et al ., 2017从脑电图数据()或步态解码Tortora et al ., 2020),或者使用LSTM复发性神经网络识别电机任务从脑电图数据(沙姆西et al ., 2021)。最近,它已被证明,考虑的时间依赖性GCaMP大脑动力学也提高了性能的分析。例如,考虑时态数据等研究(Salsabilian Najafizadeh 2021 b;Perich et al ., 2021)提高了行为使用GCaMP解码和建模性能数据。

此外,VAE的改进的性能模型连同LSTM模型已被证明在一些研究。例如,在(妞妞et al ., 2020),考虑时间信息的附加值显示使用一个LSTM-based VAE-GAN timeseries网络异常检测。在(公园et al ., 2018),使用一个LSTM-based VAE检测器的性能改善robot-assistive模型。

在脑损伤的情况下,大脑功能连接可能被中断,考虑时间信息的确可以帮助找到这些中断和改变大脑的通信流。调查是否包括颞mTBI依赖会导致更精确的预测,我们使用了一个LSTM网络引入VAE的时间依赖模型。LSTM-VAE提出结构的模型项目多元timeseries到潜在的空间表征在每个时间步,重建和解码器使用潜在的空间表示输入。在这种方法中,每个数据样本点之间的时间依赖(即。X)是由LSTM VAE的处理模型。

评估的影响mTBI识别捕获数据的时空特性,我们比较结果VAE LSTM-VAE LSTM-AVAE AVAE的结果图4。它可以观察到,尽管我们认为时间和空间卷积层在autoencoders的结构表2),所有分类器实现更高精度的结果LSTM-based模型(LSTM-VAE和LSTM-AVAE)相比non-LSTM同行(VAE和AVAE)。这个结果表明LSTM-based模型有效地提取和学习的时间依赖神经mTBI识别信息的数据。精度最高的95.8%是通过提出LSTM-AVAE用MLP分类器。

3.5与性能

的精度结果LSTM-AVAE模型与MLP分类器。dz= 10,λ= 0.1为每个主题报告获得表3。我们注意到,该模型能够实现高精度在所有科目的最小和最大平均精度为91.96%和98.79%,分别。

表3
www.雷竞技rebatfrontiersin.org

表3。与以前的LSTM-AVAE MLP分类器分类精度的结果。

3.6条件译码器的影响

灵感来自最近的研究表明实验结果受益于使用条件VAE (cVAE) (孙et al ., 2015)在去除令人讨厌的影响变量从学习表示(例如,(Ozdenizci et al ., 2019)),在这里,我们建议的体系结构的适应cVAE探索其影响进一步除去subject-dependency mTBI潜在表征在训练的编码器。在cVAE,译码器条件是一个讨厌的变量作为一个额外的输入除了潜在的表征。以这种方式,因为讨厌变量已经给了译码器,编码器将不变的只有学习表示讨厌变量。cVAE的损失函数, l cVAE ( θ , ϕ ) 的话,是

l cVAE θ , ϕ = E 日志 p θ X | z , 年代 + D 吉隆坡 ϕ z | X p z ( 5 )

只考虑到编码器用于分类、调节对象变量的解码器年代,不会影响其他的建模和分类链。在这里,我们考虑LSTM-A-cVAE模型,通过调节的解码器LSTM-AVAE模型主题标签年代。我们比较的性能LSTM-A-cVAE LSTM-AVAE考虑LR和MLP分类器λ= {0.1,0.2}。训练和测试程序都类似于如前所述。研究的结果发表在表4。我们观察到调节VAE的变量增加了跨学科的平均精度2%转移学习,建议的附加值cVAE清除subject-dependent信息表示为视域mTBI识别。

表4
www.雷竞技rebatfrontiersin.org

表4。有条件的解码器对精度的影响。

4结论

本文利用对手网络和提出一个LSTM-AVAE模型,我们解决主题变化的问题,这对挑战提取准确mTBI诊断与伤害有关的特性。该模型考虑了时间依赖的神经数据和数据从神经学表示,而附加的对手从学习表示网络放开与主体相关的信息,使得跨学科模型适当的特征提取。实验结果证明提出的好处LSTM-AVAE模型准确mTBI鉴定,证明模型提取的能力强劲subject-invariant特性。该方法可以推广到其他领域学习subject-invariant特性。

数据可用性声明

数据分析在这项研究中受到以下许可证/限制:收集的数据集是在另一个研究实验室。请求访问这些数据集应该指向laleh.najafizadeh@rutgers.edu

道德声明

动物研究是罗格斯大学机构进行审核和批准的动物保健和使用委员会。

作者的贡献

所有作者列出了一大笔,直接和知识贡献的工作,批准发布。

资金

这项工作是由美国国家科学基金会(NSF)奖1605646,脑损伤研究和新泽西州委员会CBIR16IRG032 (NJCBIR)奖。

确认

作者感谢教授大卫·j·马戈利斯和基督教r . Lee博士与美国罗格斯大学细胞生物学和神经科学,提供实验数据。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

引用

Alhagry, S。,Fahmy, A. A., and El-Khoribi, R. A. (2017). Emotion recognition based on EEG using LSTM recurrent neural network.ijacsa。8。doi: 10.14569 / ijacsa.2017.081046

CrossRef全文|谷歌学术搜索

Angjelichinoski, M。崔,J。,Banerjee, T., Pesaran, B., and Tarokh, V. (2020). Cross-subject decoding of eye movement goals from local field potentials.j .神经Eng。17日,016067年。1741 - 2552 . doi: 10.1088 / / ab6df3

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

波,一个。绮,Y。,Darwin, B., Raznahan, A., Mars, R. B., and Lerch, J. P. (2022). Whole-brain comparison of rodent and human brains using spatial transcriptomics.bioRxiv

CrossRef全文|谷歌学术搜索

陆慈D。,Hallgarten, P., Grosse-Puppendahl, T., Kari, M., Mikut, R., Schmidt, A., et al. (2022a). “Domain-invariant representation learning from EEG with private encoders,” inICASSP 2022年IEEE国际会议音响、演讲和信号处理(IEEE),1236 - 1240。

CrossRef全文|谷歌学术搜索

陆慈D。,Hallgarten, P., Özdenizci, O., Mikut, R., Schmidt, A., and Grosse-Puppendahl, T. (2022b).利用多个脑电图数据域与敌对的学习arXiv预印本arXiv: 2204.07777

谷歌学术搜索

Breschi,。,Gingeras, T. R., and Guigó, R. (2017). Comparative transcriptomics in human and mouse.Nat,启麝猫。18日,425 - 440。doi: 10.1038 / nrg.2017.19

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Cornblath, e . J。Ashourvan,。金,j . Z。,Betzel, R. F., Ciric, R., Adebimpe, A., et al. (2020). Temporal sequences of brain activity at rest are constrained by white matter structure and modulated by cognitive demands.Commun。医学杂志。3、1 - 12。doi: 10.1038 / s42003 - 020 - 0961 - x

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

议会,D。,Pera, M. F. (2021). The genetic basis of inter-individual variation in recovery from traumatic brain injury.npj回复。地中海。6,5 - 9。doi: 10.1038 / s41536 - 020 - 00114 - y

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

克莱默,j . V。,Gesierich, B., Roth, S., Dichgans, M., Duering, M., and Liesz, A. (2019).在活的有机体内宽视野钙成像分析小鼠皮层的健康和大脑疾病的网络连接。科学杂志199年,570 - 584。

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

克莱默,s W。,Haley, S. P., Popa, L. S., Carter, R. E, Scott, E., Flaherty, E. B., et al. (2022). Wide-field calcium imaging reveals widespread changes in cortical connectivity following repetitive, mild traumatic brain injury in the mouse.bioRxiv11日,1。doi: 10.1038 / s41598 - 021 - 02371 - 3

CrossRef全文|谷歌学术搜索

戴,M。,Zheng, D., Na, R., Wang, S., and Zhang, S. (2019). EEG classification of motor imagery using a novel deep learning framework.传感器19日,551年。doi: 10.3390 / s19030551

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Doersch, c (2016)。在变分autoencoders教程ArXiv预印本ArXiv: 1606.05908

谷歌学术搜索

杜,C。,Jinpeng, L., Lijie, H., and Huiguang, H. (2019). Brain encoding and decoding in fMRI with bidirectional deep generative models.工程5,948 - 953。

CrossRef全文|谷歌学术搜索

Eierud C。,Craddock, R. C., Fletcher, S., Aulakh, M., King-Casas, B., Kuehl, D., et al. (2014). Neuroimaging after mild traumatic brain injury: Review and meta-analysis.杂志中国。4,283 - 294。doi: 10.1016 / j.nicl.2013.12.009

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Ellenbroek B。,Youn, J. (2016). Rodent models in neuroscience research: Is it a rat race?Dis.机械模型。9日,1079 - 1087。doi: 10.1242 / dmm.026120

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Fazli, S。,Popescu, F., Danóczy, M., Blankertz, B., Müller, K.-R., and Grozea, C. (2009). Subject-independent mental state classification in single trials.神经。22日,1305 - 1312。doi: 10.1016 / j.neunet.2009.06.003

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

格拉汉姆·古德费勒,我。,Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., et al. (2014). Generative adversarial nets.放置神经Inf。过程。系统。27。

谷歌学术搜索

顾,H。,Schulz, K. P., Fan, J., and Yang, Y. (2021). Temporal dynamics of functional brain states underlie cognitive performance.Cereb。皮质31日,2125 - 2138。doi: 10.1093 / cercor / bhaa350

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

汉族,M。,Ozdenizci, O。,Koike-Akino, T., Wang, Y., and Erdoğmuş, D. (2021). Universal physiological representation learning with soft-disentangled rateless autoencoders.IEEE j .生物医学。健康正无穷。25日,2928 - 2937。doi: 10.1109 / jbhi.2021.3062335

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

汉族,M。,Ozdenizci, O。王,Y。,Koike-Akino, T., and Erdoğmuş, D. (2020). Disentangled adversarial autoencoder for subject-invariant physiological feature extraction.IEEE信号的过程。列托人。27日,1565 - 1569。doi: 10.1109 / lsp.2020.3020215

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

希金斯,我。,Matthey, L., Glorot, X., Pal, A., Uria, B., Blundell, C., et al. (2016a). Early visual concept learning with unsupervised deep learning.arXiv预印本arXiv: 1606.05579

谷歌学术搜索

希金斯,我。,Matthey, L., Pal, A., Burgess, C., Glorot, X., Botvinick, M., et al. (2016b). beta-vae: Learning basic visual concepts with a constrained variational framework

谷歌学术搜索

在香港,s . H。Ryu年代。Lim, J。,Kim, W. Y. (2019). Molecular generative model based on an adversarially regularized autoencoder.j .化学。正无穷。模型。29-36。doi: 10.1021 / acs.jcim.9b00694

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

艾弗森,g . L。,lovell, M. R., Smith, S., and Franzen, M. D. (2000). Prevalence of abnormal CT-scans following mild head injury.大脑Inj。14日,1057 - 1061。doi: 10.1080 / 02699050050203559

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Kamnitsas, K。,Baumgartner, C., Ledig, C., Newcombe, V., Simpson, J., Kane, A., et al. (2017). “Unsupervised domain adaptation in brain lesion segmentation with adversarial networks,” in国际会议在医学影像信息处理(施普林格),597 - 609。

CrossRef全文|谷歌学术搜索

Koochaki F。,Najafizadeh, L. (2021). “A convolutional autoencoder for identification of mild traumatic brain injury,” in10日国际IEEE /磨床神经工程会议(尼珥),412 - 415。

CrossRef全文|谷歌学术搜索

Koochaki F。沙姆西基地,F。,Najafizadeh, L. (2020). “Detecting mTBI by learning spatio-temporal characteristics of widefield calcium imaging data using deep learning,” in第42届IEEE工程国际会议在医学和生物学协会(EMBC),2917 - 2920。

CrossRef全文|谷歌学术搜索

口,Z。,Iraji, A. (2014). Imaging brain plasticity after trauma.神经的回复。Res。9日,693年。doi: 10.4103 / 1673 - 5374.131568

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Kullback, S。,leibler, R. A. (1951). On information and sufficiency.安。数学。统计。22日,79 - 86。doi: 10.1214 /中耳炎/ 1177729694

CrossRef全文|谷歌学术搜索

李,c R。,Margolis, D. J. (2016). Pupil dynamics reflect behavioral choice and learning in a go/nogo tactile decision-making task in mice.前面。Behav。>。10日,200年。doi: 10.3389 / fnbeh.2016.00200

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

李,c R。,Najafizadeh, L., and Margolis, D. J. (2020)., 225.施普林格,467 - 480。调查与慢性学习相关的神经回路在活的有机体内光学成像大脑结构。功能。

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

莱文,h·S。,D我az-Arrastia, R. R. (2015). Diagnosis, prognosis, and clinical management of mild traumatic brain injury.《柳叶刀神经病学14日,506 - 517。doi: 10.1016 / s1474 - 4422 (15) 00002 - 2

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

李,J。,Qiu, S., Du, C., Wang, Y., and He, H. (2019). Domain adaptation for EEG emotion recognition based on latent representation similarity.IEEE反式。Cogn。开发系统。12日,344 - 353。doi: 10.1109 / tcds.2019.2949306

CrossRef全文|谷歌学术搜索

Linkenkaer-Hansen, K。Nikouline, V V。Palva, j . M。,Ilmoniemi, R. J. (2001). Long-range temporal correlations and scaling behavior in human brain oscillations.j . >。21日,1370 - 1377。doi: 10.1523 / jneurosci.21 - 04 - 01370.2001

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

乐天,F。,Guan, C. (2010). Regularizing common spatial patterns to improve BCI designs: Unified theory and new algorithms.IEEE反式。生物医学。Eng。今年58岁,355 - 362。doi: 10.1109 / tbme.2010.2082539

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Louppe G。,Kagan, M., and Cranmer, K. (2017). Learning to pivot with adversarial networks.放置神经Inf。过程。系统。30.

谷歌学术搜索

Makhzani,。Shlens, J。Jaitly, N。,格拉汉姆·古德费勒,我。,Frey, B. (2015). Adversarial autoencoders. ArXiv Preprint ArXiv:1511.05644.

谷歌学术搜索

马歇尔,J·J。,Mason, J. O. (2019). Mouse vs man: Organoid models of brain development & disease.大脑Res。1724年,146427年。doi: 10.1016 / j.brainres.2019.146427

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

明,Y。,D我ng, W., Pelusi, D., Wu, D., Wang, Y.-K., Prasad, M., et al. (2019). Subject adaptation network for EEG data analysis.达成。柔软的第一版。84年,105689年。doi: 10.1016 / j.asoc.2019.105689

CrossRef全文|谷歌学术搜索

Morganti-Kossmann, m . C。燕,E。,Bye, N. (2010). Animal models of traumatic brain injury: Is there an optimal model to reproduce human brain injury in the laboratory?受伤41岁的S10-S13。doi: 10.1016 / j.injury.2010.03.032

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

盛冈,H。,Kanemura, A., Hirayama, J.-i., Shikauchi, M., Ogawa, T., Ikeda, S., et al. (2015). Learning a common dictionary for subject-transfer decoding with resting calibration.科学杂志111年,167 - 178。doi: 10.1016 / j.neuroimage.2015.02.015

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

妞妞,Z。,Yu, K., and Wu, X. (2020). LSTM-based VAE-GAN for time-series anomaly detection.传感器20日,3738年。doi: 10.3390 / s20133738

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Ozdenizci, O。王,Y。,Koike-Akino, T., and Erdoğmuş, D. (2020). Learning invariant representations from EEG via adversarial inference.IEEE访问8,27074 - 27085。doi: 10.1109 / access.2020.2971600

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Ozdenizci, O。王,Y。,Koike-Akino, T., and Erdoğmuş, D. (2019). “Transfer learning in brain-computer interfaces with adversarial variational autoencoders,” in2019年9日国际IEEE /磨床神经工程会议(尼珥)(IEEE-210年)。

谷歌学术搜索

公园,D。,Hoshi, Y., and Kemp, C. C. (2018). A multimodal anomaly detector for robot-assisted feeding using an lstm-based variational autoencoder.IEEE机器人。奥特曼。列托人。3,1544 - 1551。doi: 10.1109 / lra.2018.2801475

CrossRef全文|谷歌学术搜索

Perich, m·G。这些地方,C。,Soares, S., Young, M. E., Mosher, C. P., Minxha, J., et al. (2021). Inferring brain-wide interactions using data-constrained recurrent neural network models.BioRxiv,1-37。

谷歌学术搜索

彼得森,s M。,Steine-Hanson, Z., Davis, N., Rao, R. P., and Brunton, B. W. (2021). Generalized neural decoders for transfer learning across participants and recording modalities.j .神经Eng。18日,026014年。1741 - 2552 . doi: 10.1088 / / abda0b

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

飞边,r . M。,艾弗森,g . L。,Barth, J. T., Bush, S. S., Broshek, D. K., Policy, N., et al. (2009). Recommendations for diagnosing a mild traumatic brain injury: A national academy of neuropsychology education paper.中国档案。神经心理学24日,3 - 10。doi: 10.1093 / arclin / acp006

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Salsabilian, S。,Bibineyshvili, E., Margolis, D. J., and Najafizadeh, L. (2019). “Quantifying changes in brain function following injury via network measures,” inIEEE第41届国际会议在医学和生物学社会工程(德国柏林:EMBC),5217 - 5220。

CrossRef全文|谷歌学术搜索

Salsabilian, S。,Bibineyshvili, E., Margolis, D. J., and Najafizadeh, L. (2020a). “Study of functional network topology alterations after injury via embedding methods,” in光学和大脑(华盛顿特区:美国光学学会)。BW4C-3。

CrossRef全文|谷歌学术搜索

Salsabilian, S。李,c R。,Margolis, D. J., and Najafizadeh, L. (2018). “Using connectivity to infer behavior from cortical activity recorded through widefield transcranial imaging,” in光学的