跳到主要内容

原创研究文章

前面。理论物理。，05January 2023
高能与天体粒子物理
https://doi.org/10.3389/fphy.2022.960963

LHC中束流损失的数据驱动建模

www.雷竞技rebatfrontiersin.orgEkaterina Krymova 1*，www.雷竞技rebatfrontiersin.orgGuillaume Obozinski1，www.雷竞技rebatfrontiersin.org迈克尔Schenk 2，www.雷竞技rebatfrontiersin.org洛奇•科伊尔 2、3而且www.雷竞技rebatfrontiersin.org塔蒂阿娜Pieloni 2
  • 1瑞士数据科学中心，EPFL和ETH Zürich, Zürich，瑞士
  • 2瑞士洛桑EPFL物理研究所粒子加速器物理实验室
  • 3.欧洲核子研究中心，日内瓦，瑞士

在大型强子对撞机中，为了保护机器，连续测量束流损耗。通过设计，大部分的粒子损失发生在准直系统中，其中具有高振荡振幅或大动量误差的粒子从光束中被刮走。颗粒损失水平通常是通过改变控制参数来手动优化的，其中包括聚焦和散焦磁铁中的电流。由于系统中存在各种(非线性)效应，如电子云、共振效应等，以及多种不确定性来源，仅基于控制参数建模和预测损失通常具有挑战性。同时，了解控制参数对损耗的影响对于改进加速器的运行和性能以及未来的设计都是极其重要的。之前的工作[1]表明将损失建模为控制参数的瞬时函数并不能很好地推广到不同年份的数据，这表明杠杆统计关联没有捕捉到从一年到下一年应该不变的实际机制。考虑到这很可能是由于滞后效应，我们建议将损失建模为一个函数，不仅是瞬时的，而且是先前观察到的控制参数以及先前的损失值。使用标准的重新参数化，我们将模型重新表述为卡尔曼滤波器(KF)，这允许灵活和有效的估计过程。我们考虑了两种主要的变体:一种是标量损失输出，另一种是4D输出，损失、水平和垂直发射量以及聚合热负荷作为组件。这两个模型一旦学会，就可以在未来运行许多步骤，第二个模型可以预测与预测损失本身相关的数量的演变。我们的结果表明，在2017年波束损耗数据上训练的拟议模型能够预测2018年数据在几分钟内的损耗，并成功识别出局部和全球的损耗趋势。

1介绍

大型强子对撞机(LHC)中过高的光束损耗[2，3.]会引起超导磁体的猝灭，这将触发束流转储和一个很长的恢复周期来恢复名义温度。结果，物理实验损失了宝贵的时间和积分光度，而大型强子对撞机需要重新注入新的光束。另一方面，更好地控制损失可以保证更有效的操作，更高的光度，从而更大的发现潜力。在LHC运行期间，机器操作员可以改变系统的几个参数，例如四极、六极和八极磁铁中的电流，以最大限度地提高束流强度，从而使粒子损失最小化。机器学习和统计方法已被广泛用于分析加速器的数据并改进操作[4- - - - - -9］．使用标准ML技术可以从控制参数中构建损失的预测模型[1]，但将这种方法推广到下一年的数据是具有挑战性的。更好地理解控制参数对束流损耗的瞬时和长期影响，有助于减少束流损耗，提高LHC的运行和性能输出。此外，它可能为其他现有机器带来减轻粒子损失的技术，并在未来可能的对撞机(如未来圆形对撞机(FCC))的设计阶段提供有价值的输入[10，11］．目前还没有精确的粒子束损耗随机器设置和控制参数变化的物理模型。统计或机器学习模型将涵盖控制参数演化的可能场景，最终可用于找到最优控制策略。采用优化的控制参数方案可以显著提高加速器的性能。在接下来的工作中，我们朝着这个方向迈出了一步:这项工作的目标是提高对输入参数对损失影响的理解，并提出一个可解释的模型，该模型具有足够的通用性和鲁棒性，可以推广到不同年份获得的损失数据。

我们假设两个LHC光束在不考虑可能的光束耦合效应的情况下，在控制参数的变化下演化相似，并集中对光束1损失进行建模。大部分损失发生在位于加速器插入区(IR) 3和IR7的束流清洗区域的准直系统中，在那里，束流损失监测器(BLM)记录了损失[12］．IR7处的准直器去除横向振荡幅度大的粒子，而IR3处的准直器负责去除动量误差超过选定阈值的粒子。在这两个准直器系统中，最活跃的清理发生在IR7，因此我们专注于建模由BLM在IR7记录的光束1的损失，并进一步将其称为“损失”。

在机器运行期间，可以测量其他一些重要的特性，这些特性不能直接控制，但包含有关影响光束的隐藏非线性过程的信息。这些量中包括热负荷，它是电子云效应的代理[13]，以及水平和垂直发射量。发射度描述了粒子在相空间中的扩散，并与机器中光束的平均物理尺寸有关[14］．沿波束及时进行发射度测量，并通过特定的后处理来估计整个波束的平均发射度。在大型强子对撞机的运行过程中，电子云的出现是由于质子束在束流管中的电子加速，导致雪崩过程，导致束流管和磁铁加热，增加发射度，并可能导致束流不稳定[15］．

调谐变量与机器中电子振荡的频率有关。曲调通过一个专门的反馈系统得到修正，主要取决于四极磁体的强度，尽管它们也会受到主偶极子中的四极分量、主偶极子和六极校正磁体中的六极分量的影响[16］．

由于束物理中的大多数非线性效应与输入参数的变化间接相关，因此依赖于过去观测中包含的信息似乎很自然。因此，我们考虑带有外生输入变量(VARMAX)的向量自回归移动平均模型，并将其与输入变量与损失直接相关的模型进行比较。我们在一个给定年份的多个时间序列数据上训练一个通用模型，这些数据对应于不同的LHC填充方案1．

可用数据:为了构建和评估损失的预测模型，可以获得2017年和2018年LHC填充期间损失的观测数据以及其他测量量[17］．以1hz的频率记录观测结果。填充开始于根据选定的填充方案注入光束。我们选择了在数据中遇到的所有方案中出现最频繁的填充方案，因为我们预计注入光束的性质会随着注入类型的不同而变化。总的来说，对于所选方案，2017年有105个填充数据可用，2018年有144个填充记录。在机器填充的“PRERAMP”光束模式中，我们关注光束1的数据。“PRERAMP”光束模式发生在注入全光束之后，开始能量斜坡过程之前。在“PRERAMP”期间，采取措施为能量斜坡做准备，如收回注入准直器，调整反馈参考和加载其他机器设置。在“PRERAMP”模式下，机器处于稳定状态，因此它应该是最容易模拟损耗的光束模式。然而，在实践中，它似乎具有挑战性。1］．对于2017年和2018年期间的每个填充，“PRERAMP”模式的时间序列在长度上有所不同(参见图1)．

图1
www.雷竞技rebatfrontiersin.org

图1．2017年和2018年PRERAMP时间序列长度直方图。

在整篇论文中，我们假设对数变换应用于按强度归一化的损失。此外，在提到损失时，我们省略了“对数”和“强度标准化”。对数变换通常用于降低分布的偏度(见原始刻度中的损失)图2一个对数变换后的损失图2 b)．对于损失，对数变换的部分动机是由强度标准化的损失是由粒子计数数据产生的。为了便于进一步分析，我们假设log损失为高斯分布。或者，人们可以遵循广义线性模型方法，假设计数数据的泊松分布，例如在[18］．

图2
www.雷竞技rebatfrontiersin.org

图2．(一)原始损失(按强度归一化)，(B)2017年和2018年的对数损失(按强度标准化)。对数变换有助于降低偏态。请注意，图上的几种模式是由于控制参数的变化而引起的损失水平的变化。图3．

在实验过程中记录了几个量，其中我们将使用以下变量作为损失模型的输入/控制参数。

• 问 x 而且 问 y -纵横曲调，

• C -电流在八极磁体。

非受控观察变量为

• l - 1号光束在BLM 6L7处的损失除以强度的对数，

• E x ， E y -水平和垂直发射度，

•ec- LHC 8个扇区热负荷测量的和，

•τ时间。

注:音调实际上是由四极磁铁电流控制的，磁场衰减是由于持续电流和一个反馈系统，该反馈系统使基带音调(BBQ)测量系统测量的音调值保持在恒定值[19］．尽管我们对曲调的控制是间接的，但我们仍然将曲调(在我们的数据集中在线测量)视为系统的控制变量之一。对于八极子，我们使用电流，因为没有测量与这些元素相关的调谐传播。此外，自光束注入以来的时间，虽然不受控制，但用作输入参数。

有关2017年“PRERAMP”模式下损失和其他变量在一次填充中的演变示例，请参见图3．通常，在“PRERAMP”期间，会对电流和曲调进行一次重大修改。

图3
www.雷竞技rebatfrontiersin.org

图3．2017年填充6243的PRERAMP模式时间序列示例。垂直和水平调谐和八极电流的时间序列显示为蓝色，损失、垂直和水平发射度的观测值以及热负荷测量值的总和显示为绿色。

2017年和2018年的数据在使用的输入参数范围和损失水平上有所不同图4，非受控变量具有不同的分布，例如损失(图4一)，整体高于2018年;输入变量，如图5，有不同的量程，如见八极电流在图5一个，以及输入变量的增量图6例如，八极电流在2018年仅呈下降趋势，2017年呈上升和下降趋势。一些控制参数，如八极电流，变化非常小，例如在2017年的数据中，“PRERAMP”时间序列中只有一半的填充从一个级别变化到另一个级别。这已经表明，应用在2017年数据上训练的模型到2018年的数据需要外推，这是非常具有挑战性的。因此，我们优先使用简单的(因此是健壮的)建模技术。

图4
www.雷竞技rebatfrontiersin.org

图4．2017年和2018年观测结果的直方图。(一)按强度归一化的损失对数，(B)水平发射率,(C)垂直度,(D)电子云引起的热负荷。几乎所有的变量在这两年中都显示出不同的值范围，例如，看到热负荷的总和。

图5
www.雷竞技rebatfrontiersin.org

图5．2017年和2018年观测结果的直方图。(一)八极电流,(B)水平调整,(C)垂直调整。几乎所有的变量都表现出不同的值范围，例如八极电流 C ．

图6
www.雷竞技rebatfrontiersin.org

图6．的增量直方图(一)八极电流,(B)水平调和(C)2017年和2018年垂直调整。填充7,236是2018年八极电流直方图左侧的一个大异常值。

从光束注入开始，系统中出现了多种效应，无法用解析方法完全描述，迄今为止已在单独的实验中观察到，例如，由于漂移或控制参数的变化，例如与交叉谐振线相关的粒子曲调分布的变化。考虑到关于此类事件以及控制变量与损失之间的长期依赖关系的有限信息，我们考虑了一种简单但稳健的线性方法来建模损失对其先前历史以及受控和可能不受控变量的依赖关系。在一维情况下，这种模型的一个例子是将损耗作为曲调和八极电流的函数来建模

l t ＝ α 1 l t − 1 + α 2 l t − 2 + .．. + β 1 问 x ， t − 1 + β 2 问 x ， t − 2 + .．. + γ 1 问 y ， t − 1 + γ 2 问 y ， t − 2 + .．. + ζ 1 C t − 1 + ζ 2 C t − 2 + .．. + 噪音 ． （ 1 ）

这是一个带有移动平均和外源变量的自回归模型的实例，所谓的ARMAX模型[20.］．

在上述形式的模型中，考虑到损失与发射率密切相关，且会受到电子云的影响，尽管这些变量无法控制，但我们选择将其纳入外生变量。

最后，我们将考虑损失、发射量和电子云诱导热负荷的多元时间序列模型，试图从控制变量共同预测它们的演化。这是出于这样一个事实，即我们希望获得一个模型，捕捉控制变量的影响，以便如果我们依赖于发射度和电子云的值在某个时间t−l它本身应该由之前时间点的控制变量来预测。这种多元扩展被称为向量armax -或varmax -模型。

为了估计这类模型的参数，我们将利用VARMAX模型和卡尔曼滤波器(KF)之间的关系。

全文组织结构如下。在第二节中，在更精确地介绍了不同模型的形式之后，我们讨论了VARMAX模型及其与所谓的状态空间模型的关系，特别是与卡尔曼滤波器的关系。不同的参数化将导致我们考虑一个具有时变参数的一般KF，包括一个参数取决于输入变量的KF模型。我们将考虑正则化系数的不同方法，并讨论用于估计参数的一般期望最大化(EM)过程。第三节是数值实验的结果和模型的比较。

2模型

在本文中，我们考虑了Eq中描述的模型的几种变体。1．

KF1:首先，我们验证是否有可能构建一个预测模型，将当前损失作为最近损失历史和控制变量的函数，就像在KF1中一样。更准确地说，我们考虑损失的一维线性模型。

l t ＝ α 1 l t − 1 + α 2 l t − 2 + .．. + α p l t − p + β 0 问 x ， t + β 1 δ 问 x ， t + β 2 δ 问 x ， t − 1 + ⋯ + β l δ 问 x ， t − l + 1
+ γ 0 问 y ， t + γ 1 δ 问 y ， t + .．. + γ l δ 问 y ， t − l + 1 （ KF1 ）
+ ζ 0 C t + ζ 1 δ C t + ⋯ + ζ l δ C t − l + 1 + n o 我 年代 e ，

在哪里δ表示取一阶差分，即。 δ 问 x ， t ＝ 问 x ， t − 问 x ， t − 1 ,p而且l是对应的输出和输入的观察历史的深度，我们将其包括在模型中。

KF1*:由于我们得到了发射度和电子云(热负荷总和)的额外观测数据，我们可以将它们包括到输入变量中，看看它们的存在是否有助于更好地建模损失，因此我们也将考虑一个模型。

l t ＝ α 1 l t − 1 + α 2 l t − 2 + .．. + α p l t − p + β 0 问 x ， t + β 1 δ 问 x ， t + β 2 δ 问 x ， t − 1 + ⋯ + β l δ 问 x ， t − l + 1
+ γ 0 问 y ， t + γ 1 δ 问 y ， t + .．. + γ l δ 问 y ， t − l + 1
+ ζ 0 C t + ζ 1 δ C t + ⋯ + ζ l δ C t − l + 1
+ η 0 E x ， t + η 1 δ E x ， t + η 2 δ E x ， t − 1 + ⋯ + η l δ E x ， t − l + 1
+ θ 0 E y ， t + θ 1 δ E y ， t + .．. + θ l δ E y ， t − l + 1
+ κ 0 e c ， t + κ 1 δ e c ， t + ⋯ + κ l δ e c ， t − l + 1 + 噪音 ．

KF4:接下来，我们可以将额外的变量与损失一起添加到输出中。

l t E x ， t E y ， t e c ， t ＝ 一个 1 ◦ l t − 1 E x ， t − 1 E y ， t − 1 e c ， t + ⋯ + 一个 p ◦ l t − p E x ， t − p E y ， t − p e c ， t （ KF4 ）
+ B 0 ◦ 问 x ， t 问 y ， t C y ， t τ t + B 1 ◦ δ 问 x ， t δ 问 y ， t δ C y ， t + .．. + B l ◦ δ 问 x ， t − l + 1 δ 问 y ， t − l + 1 δ C y ， t − l + 1 + n o 我 年代 e ．

KF4-quad:是KF4的扩展，其中矩阵 一个 我 ◦ 而且 B 我 ◦ 依赖于控制参数。为了在附加的结构假设下拟合模型参数，我们首先考虑一类模型的等效公式，这使得有效估计参数成为可能。该模型将在第2.2.2节中更详细地讨论。

2.1 VARMAX和状态空间建模

形式上，上面介绍的模型都是带有外生变量的向量自回归移动平均模型(VARMAX)的特殊实例。VARMAX模型可以写成:

y t ＝ ∑ 我 ＝ 1 p 一个 我 ◦ y t − 我 + B 0 ◦ u t + ∑ 我 ＝ 0 l B 我 + 1 ◦ δ u t − 我 + ∑ 我 ＝ 0 米 C 我 ◦ ξ t − 我 ， t ＝ 1 ， .．. ， T ． （ 2 ）

第一个向量自回归部分表示相信过去的观察可以预测未来的损失。第二个和，VARMAX中的“X”部分，假设与控制变量线性相关ut以及他们的回顾性变化。最后一项是平稳的移动平均过程，它是独立随机(标准高斯)变量(冲击)的和。ξt在过去。

响应向量(变量) y t ∈ R n 在VARMAX中对应的是:

•标量 l t 在情况(KF1)和(KF1*)和n= 1,

向量 ［ l t ， E x ， t ， E y ， t ， e c ， t ］ ⊤ 随着损失，水平和垂直发射量和电子云(n= 4)对于(KF4)和KF4-quad。

我们将进一步假设yt是一个一维情况作为子情况的向量。控制变量ut根据所考虑的模型，包含不同的变量集:

• u t ∈ R 问 ＝ ［ 问 x ， t ， 问 y ， t ， C y ， t ， τ t ］ ⊤ 具有水平和垂直曲调的矢量，八极磁体中的电流，以及自注射结束以来在时间上观察到的时间t．

•向量δut−l包含l滞后差ut−l,即 δ u t − l ＝ ［ δ 问 x ， t − l ， δ 问 y ， t − l ， δ C y ， t − l ］ ⊤ ．

为了估计，我们进一步用外生术语表示堆叠矩阵为 B ◦ ＝ ［ B 0 ◦ ， B 1 ◦ ， .．. ， B l ◦ ］ 并将所有外生分量叠加为向量 ν l ， t ＝ ［ u t ⊤ ， δ u t ⊤ ， .．. u t − l ⊤ ］ ⊤ ．在这些表示法中(2)读作
y t ＝ ∑ 我 ＝ 1 p 一个 我 ◦ y t − 我 + ∑ 我 ＝ 1 p B 我 ◦ ν l ， t − 我 + ∑ 我 ＝ 0 米 C 我 ◦ ξ t − 我 ， t ＝ 1 ， .．. ， T ． （ 3. ）

在VARMAX的激励下，我们将进一步考虑更一般的状态空间模型，其中隐藏状态的维数可能与观测的维数不同。

2.2状态空间模型

状态空间模型用潜变量表示动力系统的状态，潜变量随时间变化，与输入和输出变量不同。这个家族中最著名的模型是卡尔曼滤波模型。状态空间模型与具有丰富结构的时间序列模型相关，在(V)ARMAX模型和卡尔曼滤波器之间有一个众所周知的联系，我们将在这项工作中利用。

考虑一维自回归移动平均ARMA(3,2)模型(带有滞后参数)p= 3,米= 2):

y t ＝ 一个 1 ◦ y t − 1 + 一个 2 ◦ y t − 2 + 一个 3. ◦ y t − 3. + c 0 ◦ ξ t + c 1 ◦ ξ t − 1 + c 2 ◦ ξ t − 2 ， t ＝ 1 ， .．. ， T ， （ 4 ）

在哪里ξt是独立的标准高斯随机变量。ARMA模型可以被看作是状态空间模型的一个特例[21[隐向量 x t ＝ （ x 1 ， t x 2 ， t x 3. ， t ） ⊤ ：

y t ＝ 1 0 0 x 1 ， t x 2 ， t x 3. ， t ， x 1 ， t x 2 ， t x 3. ， t ＝ 一个 1 1 0 一个 2 0 1 一个 3. 0 0 x 1 ， t − 1 x 2 ， t − 1 x 3. ， t − 1 + c 0 c 1 c 2 ξ t ． （ 5 ）

第一个测量方程描述了观测值与隐态之间的关系xt，第二个过渡方程描述了状态的隐藏演化xt．(4)与(5)的等价性 一个 我 ＝ 一个 我 ◦ 而且 c 我 ＝ c 我 ◦ 可以很容易看出，如果有替代品x2，t−1然后x3.t−2在过渡方程的第一个方程中使用剩下的方程。因此，在这样的表示中，隐藏状态分量等于滞后输出。状态空间表示(5)不是唯一的，例如，考虑

y t ＝ 1 0 0 x 1 ， t x 2 ， t x 3. ， t + c 0 ξ t − 1 x 1 ， t x 2 ， t x 3. ， t ＝ 一个 1 1 0 一个 2 0 1 一个 3. 0 0 x 1 ， t − 1 x 2 ， t − 1 x 3. ， t − 1 + c 1 c 2 c 3. ξ t ． （ 6 ）

在这个状态空间中，等价于(4)的表示稍微不那么直接。我们可以检查一下 一个 我 ＝ 一个 我 ◦ ， c 0 ◦ ＝ c 0 ， c 1 ◦ ＝ c 1 − 一个 1 c 0 ， c 2 ◦ ＝ c 2 − 一个 2 c 0 ，c3.−一个3.c0= 0。

可以看到，对于ARMA和相应的状态空间表示，隐藏状态向量的每个分量都与滞后输出相关，即第一个分量表示与滞后1输出的关系，依此类推。

以同样的方式，可以将VARMAX模型(3)写成类似于状态空间的形式:

y t ＝ D x t + C 0 ◦ ξ t ， x t ＝ 一个 ̃ x t − 1 + B ̃ ν l ， t − 我 + C ̃ ξ t − 1 ， （ 7 ）

在哪里 x t ∈ R h 与h= max (p，米)， ξ t ∈ N （ 0 ， 我 n ） ．

Eq中的矩阵。7可以定义如下

D ＝ 我 h 0 n − h × h ， 如果 n > h ,否则 D ＝ 我 n 0 n × h − n ，

在哪里我h平方单位矩阵是h列和行，0米×n是一个具有指定大小的零的矩阵;

一个 ̃ ＝ 一个 1 ◦ 我 n 0 .．. 0 一个 2 ◦ 0 我 n .．. 0 ⋮ ⋮ ⋮ ⋱ ⋮ 一个 h − 1 ◦ 0 0 .．. 我 n 一个 h ◦ 0 0 .．. 0 ， B ̃ ＝ B 1 ◦ B 2 ◦ ⋮ B h − 1 ◦ B h ◦ ， C ̃ ＝ C 1 ◦ C 2 ◦ ⋮ C r − 1 ◦ C r ◦ + 一个 1 ◦ C 0 ◦ 一个 2 ◦ C 0 ◦ ⋮ 一个 h − 1 ◦ C 0 ◦ 一个 h ◦ C 0 ◦ ． （ 8 ）

状态空间表示允许在已知参数为高斯噪声的情况下使用卡尔曼滤波器的有效推理程序。当过渡矩阵和观测矩阵以及噪声矩阵未知时，可以使用经典的期望最大化算法进行估计。我们简要讨论了它们在模型中参数推断和估计中的应用。

2.2.1 KF1、KF1*、KF4的状态空间模型

我们将对(KF1)， (KF1*)和(KF4)模型的状态空间模型的估计感兴趣，这将以卡尔曼滤波器模型的经典形式完成:

y t ＝ D x t + ε t ， ε t ∼ N 0 ， R ， x t ＝ 一个 x t − 1 + B ν l ， t + η t ， η t ∼ N 0 ， V ， （ 9 ）

在哪里νt包含控制参数及其滞后差直到滞后l如Eq。2．我们假设 x t ∈ R h ,在那里h是的倍数n．

我们在这里使用标准形式的卡尔曼滤波器，而不是Eq。8其中只有一个噪声项，因为这些表示通常是等效的(参见[22，23])。见注释补充材料关于两种状态空间形式(9)和(8)之间的转换。

2.2.2带有控制相关转换的状态空间模型KF4-quad

在我们到目前为止考虑的模型中，最初由VARMAX模型驱动，外源变量在状态空间中诱导线性移位通过这个词νBt，l．然而，控制变量(或控制参数)进入模型的另一种相当自然的方式是通过VARMAX模型的自回归系数或通过状态空间模型本身的转换矩阵。这促使我们考虑一种结合了这两种效果的模型:我们保持先前一般形式的模型，但使矩阵一个而且B线性依赖于ut．然而，我们将自己限制在瞬时效果。

因此，我们考虑如下形式的卡尔曼滤波模型:

y t ＝ D x t + ε t ， ε t ∼ N 0 ， R ， x t ＝ 一个 u t x t − 1 + B u t ν t + η t ， η t ∼ N 0 ， V ． （ 10 ）

与矩阵一个（ut),B（ut)现在是控制变量的线性函数

一个 u t ＝ 一个 0 + ∑ j ＝ 1 问 一个 j u t j 而且 B u t ＝ B 0 + ∑ j ＝ 1 问 B j u t j ． （ 11 ）

这个模型现在是非线性的，特别是它包含了形式的交叉项utut−j，我而且utxt−j，我．

这个公式有问+1倍的状态转换参数，正则化是必要的，以防止过拟合。几种正则化是可能的，但考虑到我们的模型是由几个矩阵参数化的，我们建议使用一个矩阵正则化器，鼓励这些矩阵是低秩的(或等于0，即秩0)。更准确地说，我们建议使用跟踪范数正则化[24，25］．矩阵的迹范数(又名核范数)是一个矩阵范数，定义为ℓ1-矩阵奇异值的范数。迹模‖一个‖矩阵的*一个可以等价地定义为

‖ 一个 ‖ ＊ ＝ t r 一个 ⊤ 一个 1 / 2 ，

其中tr表示一个矩阵的迹。请注意，更经典的Tikhonov正则化在这里tr(一个⊤一个)，等于平方ℓ2奇异值的范数一个那就是ℓ0矩阵奇异值的伪范数一个矩阵的秩是多少一个．所以跟踪范数是ℓ1规范,ℓ0．迹范数是一个凸正则子，但在矩阵的谱中诱导稀疏性，以类似的方式ℓ1Norm导致了稀疏性，这意味着它变得低级。

最后，我们希望一个（u),B（u)是低秩的，但直接用迹范数正则化这些矩阵会导致一个不那么容易优化的优化问题。因此，我们将正则化应用于所有单独的矩阵一个j而且Bj．我们表示

Ω 一个 j ， B j j ＝ 0 ． ． 问 ＝ γ 0 ‖ 一个 0 ‖ ＊ + δ 0 ‖ B 0 ‖ ＊ + γ ∑ j ＝ 1 问 ‖ 一个 j ‖ ＊ + δ ∑ j ＝ 1 问 ‖ B j ‖ ＊ ． （ 12 ）

关于KF1, KF1*， KF4和KF4-quad的期望最大化算法参数估计的详细信息可以在补充材料．

3评价

3.1数据集

利用1年的“PRERAMP”观测数据估计模型参数，然后对另一年的数据进行检验。2017年的数据包含105个时间序列，每个序列对应一个LHC填充;在2018年，有144个可供填充。2017年“PRERAMP”阶段的持续时间在65到490秒之间变化，而2018年则在67到1046秒之间变化，2017年的典型持续时间略长图1．

首先，我们将2017年的数据作为训练数据集，2018年的数据作为测试数据集。选择超参数后(参见第3.1.1节)，从完整的训练数据集计算模型参数。然后，我们在2018年的数据上验证训练过的模型。接下来，我们重复对2018年数据的验证作为训练集，并将2017年作为测试，以检查我们是否也可以从2018年预测2017年的损失。

备注:第二次验证时，我们从2018年的数据集中排除了填充7236。排除的主要原因是在填充期间，发生了八极电流的异常高跳(图7 b)，意外的是，这并没有导致损失的显著变化(图7)．在数据集中没有其他此类事件的证据，我们的分析表明，数据集中存在的其他变量不能解释这种损失行为。为填充7236的情况扩展模型需要进一步了解这种损失行为的原因或类似事件的更多数据。这也可以从图6，上面柱状图为2017年控制参数增量，下面柱状图为2018年控制参数增量。填充7,236期间八极电流的变化接近于- 20 A的值，明显远离主要值的范围。此外，我们可以注意到，除了填充7,236之外，2018年八极电流的变化大多为负，而2017年八极电流既增加又减少。因此，就八极输入而言，从2017年数据构建的模型中预测2018年的损失可能比交换数据集更容易，因为它涉及到输入中更大范围的脉冲值的外推。

图7
www.雷竞技rebatfrontiersin.org

图7．从2018年起补7,236张，“PRERAMP”模式，出乎意料的行为:亏损没有变化(一)八极电流大幅度下降后(B)．

数据转换:对于按强度归一化的损失，我们应用对数转换。接下来，将训练数据集的输入变量缩放到(- 1,1)区间。将训练数据集的输出变量居中并归一化。为了验证，输入和输出都是用为训练数据集获得的参数居中和缩放的。

3.1.1超参数估计

对于KF模型，我们有两个超参数来估计:滞后数l在νt在情商。9以及隐藏空间的维度h．为了找到他们的估计，我们在训练数据集上使用了10倍交叉验证程序，以最小化网格中参数预测的平均绝对误差(MAE)。预测MAE y ̂ t 基本真理(1D)值的yt定义为 米 一个 E ＝ 1 T ∑ t | y t − y ̂ t | ．我们估计由9/10填充时间序列构建的模型在其余数据上的预测质量。也就是说，在每个9/10的填充中，我们对KF参数进行EM估计。我们设置T0= 10。接下来在剩下的1/10填充中，对于每个填充，我们使用KF方程和平滑器应用于第一个填充T0-对时间序列的观察，以得到隐藏过程的初步估计。从T0+1次观测，我们及时动态前向运行KF模型状态演化以传播预测，并将控制观测作为输入。这样，模型只能“看到”第一个T0在每个新的预测时间点，填充输出和输入变量的数据点。我们将10次折叠中的每一次的所有预测结果堆叠起来，以将它们与相应的真实值进行比较，即在每一次折叠中，我们计算MAE: 1 ∑ j T j ∑ j ∑ t ＝ T 0 + 1 T j | y ̂ t （ j ） − y t （ j ） | 在哪里Tj是填的长度吗j,j在折叠中运行填充。最后，选择超参数通过最小化跨褶皱的平均MAE。超参数选择是在相同的预测间隔上进行的，即固定最大历史l马克斯，第一个预测的数据点在另一年的填充是l马克斯所有的模型。我们固定l马克斯= 90有足够长的预测范围和足够的数据来训练模型。

结果可以在表1．超参数选择过程有利于输入参数及其变化的深度历史记录，因此控制参数的变化可能会对损失演化产生相对长期的影响。KF4-quad,h而且l设置为与KF4相同，通过优化网格上的MAE，以同样的方法优化正则化超参数。看到补充图S1在补充材料用于说明不同版本Eq的10倍交叉验证MAE行为。9对于一个参数范围h而且l根据2017年或2018年的数据补充图S2选择γ而且δ在情商。12KF4-quad。

表1
www.雷竞技rebatfrontiersin.org

表1．从模型(KF1)， (KF1*)， (KF4)的10倍交叉验证的超参数估计。

备注:我们在不同的预测范围内计算MAE，而不是对超参数选择的瞬时一步提前预测。这是由于这样一个事实，即最小化提前一步的预测误差往往会选择更好地遵循当地趋势的模型。例如，一个简单的预测，只是重复先前的损失观测，通常会有相当低的提前一步预测误差，而对于长期预测则不是这样。

3.2不同时间范围的预测能力评价

我们比较了卡尔曼滤波器的变体:(KF1)， (KF1*)， (KF4)和KF4-quad。作为不同时间范围损失预测的评估指标，我们计算R2-score，定义为

R 2 ＝ 1 − ∑ t y t − y ̂ t 2 ∑ t y t − y ̄ t 2 ，

在哪里 y ̂ t 预测值是yt而且 y ̄ t ＝ 1 T ∑ t y t 对于在2017年或2018年数据集之一上训练的模型。首先，在训练数据集上拟合模型的超参数和参数。对于每个训练和测试数据集，对于每个填充，我们固定视界H．接下来，对于每个时间点t填充的地方 t ∈ ｛ T 0 + 1 ， .．. ， T − H ｝ ,在那里 T 为填充的持续时间，，我们使用KF方程和平滑器来获得在t，由前文T0观察。从t，对模型进行传播预测，直至t+H．这样我们就得到了在视界处的预测集合H根据不同填充的数据。从地平线上所有的预言H我们计算平均值的自举估计R2［26[答案]103.10个子样本3.预测和相应的观察。

对于2017年的数据集，我们将预测限制在200秒的时间范围内，对于2018年的数据集，我们将预测限制在300秒的时间范围内，因此1)对于每个时间范围，至少10个不同填充的预测应该有助于计算R22)若干次的聚合预测不少于10次3.．

2017年培训:图8展示了R2因视界不同而异H对于在2017年数据上训练的模型，其中8A概述了训练数据集上的预测质量，8B显示了2018年测试数据集上的预测质量。对于具有1D输出的模型(KF1)和(KF1*)，结果表明它们只能在短期内预测另一年的损失。在(KF1*)中加入额外的非控制性观测，如发射量和电子云，有助于略微提高测试数据集上1D输出情况下的预测能力，而训练数据集上的质量有一定的下降。与1D输出模型相比，带有额外输出组件KF4和KF4-quad的模型表现出显著的性能改善。对于KF4和KF4-quad的预测是很长远的R2仍然很高。值得注意的是，超参数是从2017年的数据集中学习的，而在2018年，几个填充的时间“PRERAMP”间隔比2017年长得多(参见图1)．尽管如此，传播的KF4模型在较长时间内仍然能很好地预测。这表明，总体而言，该模型在某种程度上捕捉了全球趋势及其对输入的依赖。碰撞R2为了更高的视野图8 b可能可以解释为，首先，参与估计的填充太少，其次，大多数输入参数的变化发生在小于200s的时间范围内。模型KF4-quad在较长的视野上表现出比KF4稍好的性能。从图8额外的正则化有助于减少训练数据集上的过拟合，并提高R2在测试数据集上。

图8
www.雷竞技rebatfrontiersin.org

图8．R2-分数作为预测视界的函数。(一)在训练数据集中，这里是2017年的数据(B)2018年的测试数据。的平均值R2为每个视界显示为较深的颜色。平均值是从1000个自举估计中计算的R2，以浅色显示。

对2018年测试数据集中选定填充6672、6674、6677和6681的预测显示在图9模型(KF4)。训练数据集中输入参数的值为(−1,1)区间图9可以看到，2018年测试数据集的一些输入参数的值被标准化到训练数据集的尺度上，其值在区间(−1,1)之外。对于填充6672、6674和6681，按比例缩放的八极电流几乎从2.5下降到1。可以看到，对于这些填充，模型正确地捕获了损耗对电流的依赖关系，即使超出了训练期间给出的值的范围。

图9
www.雷竞技rebatfrontiersin.org

图9．KF4对2017年的数据进行训练，预测2018年的填充6176、6050、6192、6371以及相应的输入控制参数。粉色点对应于T0模型使用这些观测来获得初始KF更平滑的结果。进一步的模型在不看到损失和其他输出值的情况下进行传播，控制参数作为输入。两个标准差置信带用浅蓝色表示。

2018年的训练:对于2018年数据估计的模型，结果如图10．需要提醒的是，2年数据中的控制参数及其增量有不同的范围。结果表明，基于2018年数据对2017年损失建模的案例对所提出的方法更具挑战性。但KF4和KF4-quad的预测性能明显优于(KF1)、(KF1*)。通过优化MAE选择KF4-quad交叉验证的超参数，与KF4相比并没有改善。对2017年的6,176、6,050、6,192和6,371的预测显示在图11为KF4模型，用2018年的数据训练。

图10
www.雷竞技rebatfrontiersin.org

图10．R2-分数作为预测视界的函数。(一)在训练数据集上，这里是2018年的数据(B)关于2017年的测试数据。的平均值R2为每个视界显示为较深的颜色。平均值是从1000个自举估计中计算的R2，以浅色显示。

图11
www.雷竞技rebatfrontiersin.org

图11．KF4对2018年的数据进行训练，对2018年的6726、6674、6677、6681填充和相应的输入控制参数进行预测。粉色点对应于T0模型使用这些观测来获得初始KF更平滑的结果。进一步的模型在不看到损失和其他输出值的情况下进行传播，控制参数作为输入。两个标准差置信带用浅蓝色表示。

3.2.1拟合模型

KF4:从2017年的数据进行超参数选择，得到隐藏过程维数为16的KF4，对应VARMAX模型自回归部分和MA部分的滞后阶数为4。所选输入参数的增量历史长度为80。

在检验了估计的KF4满足可观测性条件和初值分布条件(见2.2.1节备注)后，我们可以将KF4转换为(9)到(8)的形式，得到等效VARMAX模型公式(3)的系数。具有自回归系数的矩阵如所示图12．从损失中可以看出这一点 l ，所有输出变量，包括发射量和电子云诱导热负荷，都参与AR项。反之则不然，在训练的模型中，其余的输出值都有较小的对应滞后损失变量的系数。移动平均系数图13表明第一次滞后冲击对损失的影响最大。输出的损失部分与其他输出变量共享“0”滞后的冲击。此外，我们考虑模型的脉冲响应函数，而不是给出输入变量的系数和输入变量的80个滞后增量。

图12
www.雷竞技rebatfrontiersin.org

图12．估计KF4中的自回归矩阵。

图13
www.雷竞技rebatfrontiersin.org

图13．KF4中估计的移动平均部分。

脉冲响应函数:为了分析模型(KF4)如何响应输入变量之一的冲击，可以方便地计算一个脉冲响应函数(IRF) [20.，27］．图14演示了在2017年数据上训练的(KF4)的IRF:该图显示了我们在训练数据集中的范围内修改输入参数后输出参数的变化。根据2017年的数据，将所有控制值和输出值设置为中值，使其标准化后值为零。每个变量的脉冲取2017年50秒内观测值范围的.5图14:为横调 问 x 垂直调的脉冲从0.272变为0.005 问 y 脉冲从。294增加到。004，八极电流从39.11A增加到3.26A。控制变量值增加后，模型(KF4)继续传播，直到输出稳定在一定水平。对于发射量和电子云，IRFs表明，八极电流和曲调的增加带来了更稳定的增长或下降。

图14
www.雷竞技rebatfrontiersin.org

图14．(KF4)模型的脉冲响应图，输入参数中的脉冲:水平和垂直调谐以及八极电流。损失和(2)的变化σ-)由(KF4)生成的置信区间以蓝色表示。其余输出分量(水平和垂直发射量和电子云诱导热负荷)的变化以及相应的(2σ-)置信区间用灰色表示。

4结论

在这项工作中，我们提出了一个基于控制变量和上下文变量的VARMAX模型，以预测LHC“PRERAMP”模式下的束流损失在视界上的演变。考虑到与状态空间模型的关系，用等价的卡尔曼滤波形式对模型进行估计。我们考虑了一维损失时间序列上的VARMAX模型，以及由损失、水平和垂直发射量以及由电云引起的聚集热负荷组成的矢量输出的VARMAX模型，这诱导了隐藏状态表示的学习，有助于预测损失在更长的视界上的演变。此外，我们提出了一个线性KF的扩展的过渡矩阵和外相系数依赖于输入变量。

hyperparameter选择过程滞后需要外源性和自回归条件表明,控制变量的滞后效应与滞后损失高达80年代短4 s的历史时所需的自回归项,获得良好的预测的地平线上5分钟。损失模型和额外的输出组件安装数据从2017年表现良好在预测的损失在2018年以IR7地平线的5分钟。

在模型中包含额外的输出变量，如热负荷和发射度，有助于显著改善对损失的长期预测。最后，在模型的可解释性方面，提出的估计模型的脉冲响应分析可以帮助研究控制参数变化的不同场景，以了解其对损失的影响。

这项工作的一个可能的扩展可能是联合模拟两个光束的损失，这可能解释了光束耦合。此外，可以预期开发一种可以指导控制室操作人员的工具，该工具将针对给定的初始设置(即发射量、强度、温度和温度)提出可用参数空间的最佳变化。等。)，同时在每个物理填充时调试和重新优化对撞机。此外，从操作中获得的新数据应该对重新训练和修改模型有用。我们基于机器数据的模型是粒子损失数值模型的一个有价值的补充，可以促进和提高对粒子损失的理解，并有助于未来对撞机的设计。

数据可用性声明

本研究中分析的数据集是公开的。这些数据可以在这里找到:https://doi.org/10.5281/zenodo.7305102．

作者的贡献

EK、GO、MS、LC和TP对该方法的概念和设计做出了贡献。EK进行了统计分析，并撰写了初稿。所有作者均参与了稿件的修改、阅读和审定。

资金

这项工作由瑞士数据科学中心项目拨款C18-07资助。这项工作是在瑞士加速器研究和技术(CHART)计划的支持下进行的。苏黎世联邦理工学院提供的开放获取资金。

利益冲突

作者声明，这项研究是在没有任何商业或财务关系的情况下进行的，这些关系可能被解释为潜在的利益冲突。

审稿人EF在审稿时向处理编辑声明了与作者MS的共同从属关系。

出版商的注意

本文中所表达的所有主张仅代表作者，并不代表他们的附属组织，也不代表出版商、编辑和审稿人。任何可能在本文中评估的产品，或可能由其制造商提出的声明，都不得到出版商的保证或认可。

补充材料

本文的补充资料可在以下网址找到:https://www.雷竞技rebatfrontiersin.org/articles/10.3389/fphy.2022.960963/full#supplementary-material

脚注

1“填充”指的是从注入新的束流到LHC直到束流被倾倒的时间段。另一方面，填充方案定义了哪些射频桶充满粒子，哪些桶空着。

参考文献

1.科伊尔有限公司强子对撞机的机器学习应用:LHC寿命优化．瑞士:格勒诺布尔INP，法国和EPFL(2018)。

谷歌学者

2.大型强子对撞机。新J物理(2007) 9:335。1367 - 2630/9/9/335 doi: 10.1088 /

CrossRef全文|谷歌学者

3.Brüning O，伯克哈德H，迈尔斯S.大型强子对撞机。核物理(2012) 67:705-34。doi: 10.1016 / j.ppnp.2012.03.001

CrossRef全文|谷歌学者

4.Arpaia P, Azzopardi G, Blanc F, Bregliozzi G, Buffat X, Coyle L，等。欧洲核子研究中心大型强子对撞机束动力学研究的机器学习。核测定方法物理测定A节:Acc光谱仪，探测器相关设备(2021) 985:164652。doi: 10.1016 / j.nima.2020.164652

CrossRef全文|谷歌学者

5.李s, Zacharias M, Snuverink J, Coello de Portugal J, Perez-Cruz F, Reggiani D，等。粒子加速器时间序列分类与预测的新方法。信息(2021) 12:121。doi: 10.3390 / info12030121

CrossRef全文|谷歌学者

6.Koser D, Waites L, Winklehner D, Frey M, Adelmann A, Conrad J.基于统计和机器学习技术的IsoDAR RFQ输入光束匹配和光束动力学设计优化。前的今天(2022) 10:302。doi: 10.3389 / fphy.2022.875889

CrossRef全文|谷歌学者

7.Schenk M, Coyle L, Pieloni T, Obozinski G, Giovannozzi M, Mereghetti A，等。使用自适应采样为加速器优化建模粒子稳定性图JACoW IPAC(2021), 1923 - 1926。doi: 10.18429 / JACoW-IPAC2021-TUPAB216

CrossRef全文|谷歌学者

8.艾德伦A, Neveu N, Frey M, Huber Y, Mayes C, Adelmann A.机器学习在粒子加速器系统多目标优化中的数量级加速。Phys Rev加速光束(2020) 23:044601。doi: 10.1103 / physrevaccelbeams.23.044601

CrossRef全文|谷歌学者

9.Coyle L, Blanc F, Pieloni T, Schenk M, Buffat X, Camillocci M，等。大型强子对撞机集体束流行为的检测与分类。JACoW IPAC(2021), 4318 - 21所示。doi: 10.18429 / JACoW-IPAC2021-THPAB260

CrossRef全文|谷歌学者

10.Abada A, Abbrescia M, AbdusSalam SS, Abdyukhanov I, Abelleira Fernandez J, Abramov A，等。强子对撞机。Phys J Spec Top(2019) 228:755。doi: 10.1140 / epjst / e2019 - 900087 0

CrossRef全文|谷歌学者

11.Abada A, Abbrescia M, AbdusSalam SS, Abdyukhanov I, Abelleira Fernandez J, Abramov A，等。HE-LHC:高能大型强子对撞机。Phys J Spec Top(2019) 228:1109。doi: 10.1140 / epjst / e2019 - 900088 6

CrossRef全文|谷歌学者

12.Hermes PD, Redaelli S, Jowett J, Bruce R.用IR7色散抑制准直器清洗重离子束。:第六届国际粒子加速器会议；弗吉尼亚州里士满(2015)。不。欧洲核子研究中心- acc - 2015 - 0193。

谷歌学者

13.齐默尔曼F。大型强子对撞机中的电子云效应．日内瓦:诉讼ECLOUD(2002)。doi: 10.5170 /欧洲核子研究中心- 2002 - 001.47

CrossRef全文|谷歌学者

14.Edwards DA, Syphers MJ。高能加速器物理学简介．John Wiley & Sons(2008)。

谷歌学者

15.大型强子对撞机中电子云不稳定性和束流诱导多缩的模拟研究。大型强子对撞机项目报告95，欧洲核子研究中心(1997)，18。

CrossRef全文|谷歌学者

16.阿奎琳娜，乔万诺齐，拉蒙特，桑穆特，施泰因哈根，托德斯科，等。调整大型强子对撞机的变化。核测定方法物理测定A节:Acc光谱仪，探测器相关设备(2015) 778:6-13。doi: 10.1016 / j.nima.2014.12.081

CrossRef全文|谷歌学者

17.Krymova E, Obozinski G, Schenk M, Coyle LT, Pieloni T。大型强子对撞机束流损耗的数据驱动建模(2022)。doi: 10.5281 / zenodo.7305102

CrossRef全文|谷歌学者

18.傅亚诺斯，罗柏科，杜德华。美国统计协会(2009) 104:1430-9。doi: 10.1198 / jasa.2009.tm08270

CrossRef全文|谷歌学者

19.Solfaroli Camillocci M, Lamont M, Juchno M, Schaumann M, Wenninger J, Todesco E. 2015年大型强子对撞机运行中调谐和色度注入衰减的前馈校正。:IPAC2016会议论文集；韩国釜山(2016), 1489 - 1492。

谷歌学者

20.汉密尔顿JD。时间序列分析．普林斯顿,纽约:普林斯顿大学出版社(2020)。

谷歌学者

21.李国强，李国强。状态空间形式下的ARMA模型。统计概率(2004) 70:119-25。doi: 10.1016 / j.spl.2004.08.006

CrossRef全文|谷歌学者

22.卡萨尔斯J, Sotoca S, Jerez M.一种快速稳定的计算时不变状态空间模型似然的方法。经济学博士(1999) 65:329-37。doi: 10.1016 / s0165 - 1765 (99) 00165 - 2

CrossRef全文|谷歌学者

23.Casals J, García-Hiernaux A, Jerez M.从一般状态空间到VARMAX模型。数学计算仿真(2012) 82:924-36。doi: 10.1016 / j.matcom.2012.01.001

CrossRef全文|谷歌学者

24.李国强，李国强，李国强。一种新的协同滤波方法:谱正则化算子估计。J Machine Learn Res(2009) 10: 803-826。

谷歌学者

25.侯凯，周震，So AMC，罗志强。迹范数正则化的近端梯度法的线性收敛性。神经导过程系统(2013) 26: 1-9。

谷歌学者

26.Ohtani K.回归分析中的引导r2和调整r2。经济模型(2000) 17:473 - 83。doi: 10.1016 / s0264 - 9993 (99) 00034 - 6

CrossRef全文|谷歌学者

27.贝叶斯tvp-varx模型与时不变长期乘数。经济模型(2021) 101:105531。doi: 10.1016 / j.econmod.2021.105531

CrossRef全文|谷歌学者

关键词:波束损耗，加速器控制，预测模型，ARMAX，卡尔曼滤波器

引用:Krymova E, Obozinski G, Schenk M, Coyle L和Pieloni T (2023) LHC中光束损失的数据驱动建模。前面。理论物理。10:960963。doi: 10.3389 / fphy.2022.960963

收到:2022年6月3日;接受:2022年12月6日;
发表:2023年1月5日。

编辑:

亚历山大Scheinker美国洛斯阿拉莫斯国家实验室(DOE)

审核:

埃琳娜指出，欧洲核研究组织(CERN)，瑞士
Egle预，法国萨克雷CEA
Pietro奇门蒂，巴西隆德里纳州立大学

版权©2023 Krymova, Obozinski, Schenk, Coyle和Pieloni。这是一篇开放获取的文章，根据创作共用授权(CC BY)。在其他论坛上的使用、分发或复制是允许的，前提是原作者和版权所有者注明出处，并按照公认的学术惯例引用本刊上的原始出版物。不得使用、分发或复制不符合这些条款的内容。

*通信:Ekaterina Krymova,ekaterina.krymova@sdsc.ethz.ch

下载