1.本发明属于深度学习和预测与健康管理(prognostics and health management,phm)领域, 具体涉及一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法。
背景技术:2.航空发动机、航天飞机等大型装备结构复杂,研发和制造价值不菲。然而,这些大型装 备在使用过程中性能会逐渐退化而发生失效,导致意外事故频发,严重地威胁了人民的生命 和财产安全。因此,为了保证航空发动机等大型装备在使用过程中保持良好的性能状态,防 止意外事件发生,就必须对航空发动机的rul进行准确而有效的预测。
3.航空发动机具有结构复杂、性能退化过程非线性、运行环境与失效类型种类非单一化的 特点,从而导致rul预测面临诸多棘手的难点和挑战。与此同时,经过长期调查和研究发现, 航空发动机未来任务和载荷分配情况与rul衰减速度直接相关。此外,rul预测过程中模 型的认知不确定性和测量数据中的偶然不确定性使得rul预测结果的可信度低,从而导致健 康管理计划的容错率较低。现有的大部分rul预测方法并未考虑未来载荷对rul的影响, 也未对基于深度学习的rul预测结果的不确定性进行量化和评估。因此,需要一种基于贝叶 斯深度学习且考虑未来载荷的航空发动机rul预测方法,将未来载荷剖面特征融入到rul 预测中,实现准确可信的航空发动机rul预测点估计与置信区间估计,为航空发动机健康管 理提供准确可信的辅助决策信息。
技术实现要素:4.本发明提供了一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法,目的是解决传 统的基于深度学习的航空发动机rul预测方法未考虑未来运行载荷和rul预测结果不确定 性的问题,实现准确且可信的航空发动机rul预测点估计和置信区间估计,为维修方案的进 一步制定提供给予有效的参考。
5.本发明所提出的技术问题是这样解决的:
6.一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法,包括以下步骤:
7.步骤1,时变运行环境下的数据预处理:将航空发动机所采集的数据集分离为状态监测 数据和运行环境数据,根据单调性、相关性、预测性和鲁棒性等评价指标筛选出数据集中具 有预测性的监测数据和运行环境数据用于后续特征提取;随后运用max-min标准化方法对数 据进行归一化处理;若航空发动机样本只在单一运行环境下采集,则直接运用max-min标准 化方法进行归一处理;若航空发动机样本在时变离散的运行环境下采集,则分别对各运行环 境下的数据进行归一化处理;最后将数据转换为模型可识别的形式和文件格式;
8.步骤2,rul标签修正:选择rul
max
作为航空发动机运行过程中的rul上限,对训练 集样本的rul标签值进行修正和标注;其中,rul
max
为125;
9.步骤3,贝叶斯深度网络模型构建:构建一种双输入通道的深度lstm(dual-input
‑ꢀ
channels long short-term memory,dic-lstm)网络,分别对航空发动机的状态监测数据中 的性能退化特征和运行环境数据中的运行载荷剖面信息进行提取;同时将所构建的dic
‑ꢀ
lstm网络参数设置为随机变量,并在dic-lstm网络的每一层都构建dropout层,在避免 模型训练过拟合的同时实现贝叶斯深度网络的构建,为后续imcd方法的提出提供技术支撑;
10.步骤4,贝叶斯深度网络模型训练:基于步骤1和2中得到的预处理后的训练数据和rul 标签值,运用补零和打包(padding&packing,p&p)训练模式、改进损失函数、lookahead优 化器和早停方法,对步骤3所构建的贝叶斯双输入通道的深度lstm(bayesian dual-input
‑ꢀ
channels long short-term memory,bdic-lstm)网络进行训练;
11.步骤5,rul预测不确定性分析与量化:对rul预测结果的不确定性进行分析,提出一 种imcd方法对rul预测的认知不确定性和偶然不确定性进行评估,从而获得rul预测结 果的置信区间估计;
12.步骤6,rul预测点估计与置信区间估计结果获得:利用步骤1获得的预处理后的航空 发动机测试样本输入到经过步骤4完成训练的bdic-lstm网络中,运用步骤5提出的imcd 方法,获得rul预测的点估计与区间估计结果。
13.本发明步骤3包括:
14.步骤3-1,针对航空发动机数据集包含状态监测数据和运行环境数据两类数据的特点,构 建双输入通道特征提取网络,即性能退化特征提取通道和运行载荷剖面信息提取通道:
15.(1)性能退化特征提取通道构建
16.运用长短期记忆(long short-term memory,lstm)网络、全连接(fully connected,fc) 和dropout层构建特征提取模块,对蕴含在航空发动机状态监测数据中的性能退化特征进行 提取;随后,将状态监测数据x
monitor
输入到所构建的性能退化特征提取通道,便可得到性能 退化特征f
pd
;
17.f
pd
=φ
pd
(x
monitor
,θ
pd
,p
dropout
)
ꢀꢀ
(1)
18.其中,φ
pd
(
·
)和θ
pd
分别表示所构建的性能退化特征提取通道的映射函数和参数,p
dropout
为dropout层神经元间连接的屏蔽率;通过网格搜索法在交叉验证实验中验证得p
dropout
取0.25时 可同时满足缓解模型过拟合和保证imcd方法性能的要求;
19.(2)运行载荷剖面信息提取通道构建
20.运用双向长短期记忆(bidirectional long short-term memory,bi-lstm)网络、fc和 dropout层构建特征提取模块,对蕴含在航空发动机运行环境数据中的运行载荷剖面信息进行 提取;随后,将运行环境数据x
condition
输入到所构建的运行载荷剖面信息提取通道,便可得到 运行载荷剖面特征f
lp
,从而将未来载荷信息融入到rul预测中;
21.f
lp
=φ
lp
(x
condition
,θ
lp
,p
dropout
)
ꢀꢀ
(2)
22.其中,φ
lp
(
·
)和θ
lp
分别表示所构建的运行载荷剖面信息提取通道的映射函数与参数,p
dropout
取 0.25;
23.步骤3-2,针对步骤2-1中提取的性能退化特征和运行载荷剖面信息,构建特征拼接与回 归分析子网络,对两种特征向量进行拼接、特征降维、回归分析和映射,从而实现航空发动 机rul的预测。
24.(1)特征拼接层构建
25.运用concatenate层,将步骤2-1和步骤2-2获得的性能退化特征向量和运行载荷剖面特 征向量拼接为一个整体的特征向量f
total
,作为rul预测的特征数据;
26.f
total
=concatenate(f
pd
,f
lp
)=[f
pd
,f
lp
]
ꢀꢀ
(3)
[0027]
其中,concatenate(
·
)表示向量拼接函数;
[0028]
(2)回归分析网络构建
[0029]
针对拼接后所得多维特征向量f
total
,运用fc层和dropout层搭建回归分析网络,实现特 征降维和回归分析,从而构建特征向量f
total
与rul之间的映射关系;
[0030]
y=φ
regression
(f
total
,θ
regression
,p
dropout
)
ꢀꢀ
(4)
[0031]
其中,y为rul的估计值序列,φ
regression
(
·
)和θ
regression
分别表示所构建的回归分析网络的映射 函数与参数,p
dropout
取0.25;
[0032]
步骤3-3,将所构建的dic-lstm模型的参数采用高斯分布进行初始化,并将模型参数 设置为服从高斯分布的随机变量,从而得到bdic-sltm模型。
[0033]
本发明步骤4包括:
[0034]
步骤4-1,将步骤1和2中得到的预处理后的训练样本数据集按特定的批量大小划分为 若干批训练样本数据,并将批训练样本数据转换为tensor格式;
[0035]
步骤4-2,将各批次训练样本数据通过补零的方式填充到与各批次样本最长序列一致;随 后运用打包方法将所填充的“0”剔除,并将被填充后的序列打包为packedsequence格式,以 方便后续送入lstm网络进行训练;
[0036]
步骤4-3,将步骤3所得rul估计值与rul标签使用改进的损失函数,通过对传统的均 方误差(mse)损失函数依时间进行指数加权,从而实现对航空发动机运行后期rul预测误 差的惩罚;
[0037][0038][0039]
其中,exp(
·
)表示以自然常数e为底的指数函数,y和y分别表示航空发动机rul的真实值和 估计值序列,m为rul序列数据长度,t为序列的当前时刻点;
[0040]
步骤4-4,运用lookahead优化器,结合步骤3-3提出的改进损失函数,对步骤2所提出 模型的参数进行优化和更新,从而提高了模型的训练效率和收敛速度;
[0041]
步骤4-5,运用早停方法,在模型完成每次迭代训练后计算验证集上的rul预测性能, 并规定模型验证性能开始出现下降征兆(或验证性能保持不变),则停止训练过程输出模型参 数更新结果;
[0042]
本发明步骤5包括:
[0043]
步骤5-1,rul不确定性分析:
[0044]
假设为原始数据、真实标签序列、预测标签序列和预测标签均值序列组成 的训练数据集,xi、yi、yi和分别是第i个训练样本原始数据、真实标签序列、预测标签序 列和预测标签均值序列;将所得rul预测结果中不确定性划分为预测模型的认知不
确定性和 测量数据的偶然不确定性,并进一步对其进行推导和量化;
[0045][0046]
其中,f(
·
)表示从原始数据xi到真实标签序列yi的映射函数,f
ensemble
(
·
)为f(
·
)的集成模型(即 f(
·
)的均值),θ
*
为经过步骤3训练得到的模型最优参数集合;
[0047]
对真实标签序列yi与预测标签均值序列之间的误差εi进行计算:
[0048][0049][0050]
其中,将定义为明显地,εi和相互独立,所以真实标签序列yi与预测标签均 值序列的方差表示为:
[0051][0052]
式中,和分别表示模型预测方差和模型预测误差项的方差;其中,模型预测方差又 可以进一步地被划分为表征认知不确定性和偶然不确定性的认知方差和偶然方差 之和;
[0053][0054]
步骤5-2,rul预测置信区间构建:
[0055]
基于步骤5-1所得的和运用t-分布对rul预测结果的 置信区间进行构建:
[0056][0057]
其中,1-α为置信度,df为t-分布的自由度,为t-分布的1-α/2分位数;α可取0.1和 0.05等值,对应的rul置信区间为90%和95%置信区间。
[0058]
步骤5-3,imcd方法:
[0059]
①
在不关闭dropout操作的前提下对测试样本输入步骤3训练好的bdic-lstm模型中, 前向传播n次得到n组预测标签序列,计算得到第i个样本的预测标签的均值序列认知 方差与偶然方差在计算认知方差与偶然方差过 程中,将n组预测标签序列划分为大小为k个等量批次,每个批次中含有m组预测标签序 列(n可以被m整除);其中,n、k、m分别为1000、10、100;
[0060][0061]
[0062][0063][0064][0065]
其中,表示第i个样本的第n组预测标签序列,表示第i个样本在第k批次中第m个预 测标签序列,和分别为第i个样本在第k批次中的预测标签序列;
[0066]
②
计算第i个样本的预测误差项的方差ri:
[0067][0068]
③
运用fc层和dropout层构建bp神经网络,将作为训练集,采用留一法(leave
‑ꢀ
one-out method,loom)对bp神经网络进行训练,从而得到原始数据xi到模型预测项方差 的预测序列ri的映射;
[0069]
④
利用步骤4-2构建的式(12)得到rul预测结果的置信区间。
[0070]
本发明提出了一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法,有益效果在于:
[0071]
本发明将深度学习与贝叶斯理论相结合,同时考虑了航空发动机未来载荷剖面信息对 rul衰减速度的影响,能够实现准确且可信的rul预测点估计与置信区间估计;本发明采 用双输入通道深度lstm网络,对航空发动机所采集的状态监测数据和运行环境数据进行分 析和挖掘,提取其中的性能退化特征和运行载荷剖面信息,同时运用bi-lstm对未来载荷特 征进行捕获,提升了rul预测的准确性;本发明运用贝叶斯理论对rul预测结果中的不确 定性进行分析,提出了一种imcd方法对rul预测模型中的认知不确定性和测量数据中的 偶然不确定性进行分离和量化,实现了准确可信的rul预测的置信区间估计,为航空发动机 维修方案的进一步制定提供辅助信息参考。
附图说明
[0072]
图1为本发明实施例的航空发动机剩余寿命预测方法的总流程图;
[0073]
图2为本发明实施例的时变运行环境下的数据预处理方法的流程图;
[0074]
图3为本发明实施例的rul标签修正示意图;
[0075]
图4为本发明实施例的贝叶斯深度网络模型构建的流程图;
[0076]
图5为本发明实施例的贝叶斯深度网络模型训练的流程图;
[0077]
图6为本发明实施例的p&p训练模式的示意图;
[0078]
图7为本发明实施例的改进损失函数的示意图;
[0079]
图8为本发明实施例的rul预测不确定性分析与量化的流程图;
[0080]
图9为本发明实施例的imcd方法的实现流程图;
[0081]
图10为本发明实施例的部分航空发动机rul预测点估计与区间估计结果图。
具体实施方式
[0082]
下面结合附图及实施例对本发明做进一步说明。
[0083]
本发明方法所总体流程如图1所示,其中包括的数据预处理流程如图2所示,rul标签 修正方法的示意图如图3所示,贝叶斯深度网络模型构建的流程如图4所示,深度网络模型 训练的流程如图5所示,p&p训练模式的示意图如图6所示,改进损失函数的示意图如图7 所示,rul预测不确定性分析与量化的流程如图8所示,imcd方法的实现流程如图9所示, 部分航空发动机rul预测点估计与区间估计结果如图10所示。本发明实施例中的航空发动 机剩余寿命预测具体构建步骤如下:
[0084]
步骤1,时变运行环境下的数据预处理:如图2所示,将航空发动机所采集的数据集分 离为状态监测数据和运行环境数据,根据单调性、相关性、预测性和鲁棒性等评价指标筛选 出数据集中具有预测性的监测数据和运行环境数据用于后续特征提取;随后运用max-min标 准化方法对数据进行归一化处理;若航空发动机样本只在单一运行环境下采集,则直接运用 max-min标准化方法进行归一处理;若航空发动机样本在时变离散的运行环境下采集,则分 别对各运行环境下的数据进行归一化处理;最后将数据转换为模型可识别的形式和文件格式;
[0085]
步骤2,rul标签修正:选择rul
max
作为航空发动机运行过程中的rul上限,对训练 集样本的rul标签值进行修正和标注,如图3所示;其中,rul
max
为125;
[0086]
步骤3,贝叶斯深度网络模型构建:构建一种双输入通道的深度lstm(dual-input
‑ꢀ
channels long short-term memory,dic-lstm)网络,分别对航空发动机的状态监测数据中 的性能退化特征和运行环境数据中的运行载荷剖面信息进行提取,相应的构建流程如图4所 示;同时将所构建的dic-lstm网络参数设置为随机变量,并在dic-lstm网络的每一层都 构建dropout层,在避免模型训练过拟合的同时实现贝叶斯深度网络的构建,为后续imcd 方法的提出提供技术支撑;
[0087]
步骤4,贝叶斯深度网络模型训练:基于步骤1和2中得到的预处理后的训练数据和rul 标签值,运用补零和打包(padding&packing,p&p)训练模式、改进损失函数、lookahead优 化器和早停方法,对步骤3所构建的贝叶斯双输入通道的深度lstm(bayesian dual-input
‑ꢀ
channels long short-term memory,bdic-lstm)网络进行训练,具体流程如图5所示;
[0088]
步骤5,rul预测不确定性分析与量化:如图8和图9所示,对rul预测结果的不确定 性进行分析,提出一种imcd方法对rul预测的认知不确定性和偶然不确定性进行评估,从 而获得rul预测结果的置信区间估计;
[0089]
步骤6,rul预测点估计与置信区间估计结果获得:利用步骤1获得的预处理后的航空 发动机测试样本输入到经过步骤4完成训练的bdic-lstm网络中,运用步骤5提出的imcd 方法,获得rul预测的点估计与区间估计结果如图10所示。
[0090]
本发明步骤3包括:
[0091]
步骤3-1,针对航空发动机数据集包含状态监测数据和运行环境数据两类数据的特点,构 建双输入通道特征提取网络,即性能退化特征提取通道和运行载荷剖面信息提取通道:
[0092]
(1)性能退化特征提取通道构建
[0093]
运用长短期记忆(long short-term memory,lstm)网络、全连接(fully connected,fc) 和dropout层构建特征提取模块,对蕴含在航空发动机状态监测数据中的性能退化特征进行 提取;随后,将状态监测数据x
monitor
输入到所构建的性能退化特征提取通道,便可得到性能 退化特征f
pd
;
[0094]fpd
=φ
pd
(x
monitor
,θ
pd
,p
dropout
)
ꢀꢀ
(19)
[0095]
其中,φ
pd
(
·
)和θ
pd
分别表示所构建的性能退化特征提取通道的映射函数和参数,p
dropout
为 dropout层神经元间连接的屏蔽率;通过网格搜索法在交叉验证实验中验证得p
dropout
取0.25时 可同时满足缓解模型过拟合和保证imcd方法性能的要求;
[0096]
(2)运行载荷剖面信息提取通道构建
[0097]
运用双向长短期记忆(bidirectional long short-term memory,bi-lstm)网络、fc和 dropout层构建特征提取模块,对蕴含在航空发动机运行环境数据中的运行载荷剖面信息进行 提取;随后,将运行环境数据x
condition
输入到所构建的运行载荷剖面信息提取通道,便可得到 运行载荷剖面特征f
lp
,从而将未来载荷信息融入到rul预测中;
[0098]flp
=φ
lp
(x
condition
,θ
lp
,p
dropout
)
ꢀꢀ
(20)
[0099]
其中,φ
lp
(
·
)和θ
lp
分别表示所构建的运行载荷剖面信息提取通道的映射函数与参数,p
dropout
取 0.25
[0100]
步骤3-2,针对步骤2-1中提取的性能退化特征和运行载荷剖面信息,构建特征拼接与回 归分析子网络,对两种特征向量进行拼接、特征降维、回归分析和映射,从而实现航空发动 机rul的预测。
[0101]
(1)特征拼接层构建
[0102]
运用concatenate层,将步骤2-1和步骤2-2获得的性能退化特征向量和运行载荷剖面特 征向量拼接为一个整体的特征向量f
total
,作为rul预测的特征数据;
[0103]ftotal
=concatenate(f
pd
,f
lp
)=[f
pd
,f
lp
]
ꢀꢀ
(21)
[0104]
其中,concatenate(
·
)表示向量拼接函数;
[0105]
(2)回归分析网络构建
[0106]
针对拼接后所得多维特征向量f
total
,运用fc层和dropout层搭建回归分析网络,实现特 征降维和回归分析,从而构建特征向量f
total
与rul之间的映射关系;
[0107]
y=φ
regression
(f
total
,θ
regression
,p
dropout
)
ꢀꢀ
(22)
[0108]
其中,y为rul的估计值序列,φ
regression
(
·
)和θ
regression
分别表示所构建的回归分析网络的映射 函数与参数,p
dropout
取0.25;
[0109]
步骤3-3,将所构建的dic-lstm模型的参数采用高斯分布进行初始化,并将模型参数 设置为服从高斯分布的随机变量,从而得到bdic-sltm模型。
[0110]
本发明步骤4包括:
[0111]
步骤4-1,将步骤1和2中得到的预处理后的训练样本数据集按特定的批量大小划分为 若干批训练样本数据,并将批训练样本数据转换为tensor格式;
[0112]
步骤4-2,如图6所示,将各批次训练样本数据通过补零的方式填充到与各批次样本最长 序列一致;随后运用打包方法将所填充的“0”剔除,并将被填充后的序列打包为 packedsequence格式,以方便后续送入lstm网络进行训练;
[0113]
步骤4-3,将步骤3所得rul估计值与rul标签使用改进的损失函数,通过对传统的
均 方误差(mse)损失函数依时间进行指数加权,从而实现对航空发动机运行后期rul预测误 差的惩罚,相应的方法示意图如图7所示;
[0114][0115][0116]
其中,exp(
·
)表示以自然常数e为底的指数函数,y和y分别表示航空发动机rul的真实值和 估计值序列,m为rul序列数据长度,t为序列的当前时刻点;
[0117]
步骤4-4,运用lookahead优化器,结合步骤3-3提出的改进损失函数,对步骤2所提出 模型的参数进行优化和更新,从而提高了模型的训练效率和收敛速度;
[0118]
步骤4-5,运用早停方法,在模型完成每次迭代训练后计算验证集上的rul预测性能, 并规定模型验证性能开始出现下降征兆(或验证性能保持不变),则停止训练过程输出模型参 数更新结果;
[0119]
本发明步骤5包括:
[0120]
步骤5-1,rul不确定性分析:
[0121]
假设为原始数据、真实标签序列、预测标签序列和预测标签均值序列组成 的训练数据集,xi、yi、yi和分别是第i个训练样本原始数据、真实标签序列、预测标签序 列和预测标签均值序列;将所得rul预测结果中不确定性划分为预测模型的认知不确定性和 测量数据的偶然不确定性,并进一步对其进行推导和量化;
[0122][0123]
其中,f(
·
)表示从原始数据xi到真实标签序列yi的映射函数,f
ensemble
(
·
)为f(
·
)的集成模型(即f(
·
)的均值),θ
*
为经过步骤3训练得到的模型最优参数集合;
[0124]
对真实标签序列yi与预测标签均值序列之间的误差εi进行计算:
[0125][0126][0127]
其中,将定义为明显地,εi和相互独立,所以真实标签序列yi与预测标签均 值序列的方差表示为:
[0128][0129]
式中,和分别表示模型预测方差和模型预测误差项的方差;其中,模型预测方差又 可以进一步地被划分为表征认知不确定性和偶然不确定性的认知方差和偶然方差 之和;
[0130][0131]
步骤5-2,rul预测置信区间构建:
[0132]
基于步骤5-1所得的和运用t-分布对rul预测结果的 置信区间进行构建:
[0133][0134]
其中,1-α为置信度,df为t-分布的自由度,为t-分布的1-α/2分位数;α可取0.1和 0.05等值,对应的rul置信区间为90%和95%置信区间。
[0135]
步骤5-3,imcd方法:
[0136]
①
在不关闭dropout操作的前提下对测试样本输入步骤3训练好的bdic-lstm模型中, 前向传播n次得到n组预测标签序列,计算得到第i个样本的预测标签的均值序列认知 方差与偶然方差在计算认知方差与偶然方差过 程中,将n组预测标签序列划分为大小为k个等量批次,每个批次中含有m组预测标签序 列(n可以被m整除);其中,n、k、m分别为1000、10、100;
[0137][0138][0139][0140][0141][0142]
其中,表示第i个样本的第n组预测标签序列,表示第i个样本在第k批次中第m个预 测标签序列,和分别为第i个样本在第k批次中的预测标签序列;
[0143]
②
计算第i个样本的预测误差项的方差ri:
[0144][0145]
③
运用fc层和dropout层构建bp神经网络,将作为训练集,采用留一法(leave
‑ꢀ
one-out method,loom)对bp神经网络进行训练,从而得到原始数据xi到模型预测项方差 的预测序列ri的映射;
[0146]
④
利用步骤4-2构建的式(30)得到rul预测结果的置信区间。
[0147]
本发明提出了一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法,有益效果在于:
[0148]
本发明将深度学习与贝叶斯理论相结合,同时考虑了航空发动机未来载荷剖面信息对 rul衰减速度的影响,能够实现准确且可信的rul预测点估计与置信区间估计;本发明
采 用双输入通道深度lstm网络,对航空发动机所采集的状态监测数据和运行环境数据进行分 析和挖掘,提取其中的性能退化特征和运行载荷剖面信息,同时运用bi-lstm对未来载荷特 征进行捕获,提升了rul预测的准确性;本发明运用贝叶斯理论对rul预测结果中的不确 定性进行分析,提出了一种imcd方法对rul预测模型中的认知不确定性和测量数据中的 偶然不确定性进行分离和量化,实现了准确可信的rul预测的置信区间估计,为航空发动机 维修方案的进一步制定提供辅助信息参考。
[0149]
本发明提供了一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法,具体实现该技 术方案的方法和途径很多,以上所述是本发明的优选实施方式;其中,上述设计的开源方法、 数据处理工具、参数值等是为了帮助读者理解发明的原理和思路,本发明的保护范围并不局 限于这样的特别陈述和实施例。对于本技术领域的普通技术人员来说,在不脱离本发明原理 的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。