(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210827340.6 (22)申请日 2022.07.13 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 黄必清　莫语　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 李雪静 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/00(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于Transformer的工业 设备故障预测方法 及装置 (57)摘要 本申请涉及数据驱动 的工业设备故障预测 技术领域， 特别涉及一种基于Transformer的工 业设备故障预测方法及装置， 其中， 方法包括： 获 取目标工业 设备的健康状态对应的时序数据集； 将时序数据集输入训练完成的故障预测模型， 输 出时序数据集的故障预测值， 其中， 故障预测模 型基于携带有故障预测值标签的训练样本训练 得到； 在故障预测值大于故障阈值时， 判定目标 工业设备故障， 否则判定目标工业设备运行正 常。 由此， 本申请实施例可 以在减少深度神经网 络运算时间、 减少计算资源的消耗的同时， 提升 故障预测的准确度； 且本申请实施例可以有效避 免循环神经网络的长期记忆损失的问题， 以实现 对设备健康状态的长周期预测。 权利要求书2页 说明书10页 附图3页 CN 115186904 A 2022.10.14 CN 115186904 A 1.一种基于Transformer深度神经网络的工业设备故障预测方法， 其特征在于， 包括以 下步骤： 获取目标工业设备的健康状态对应的时序数据集； 将所述时序数据集输入训练完成的故障预测模型， 输出所述时序数据集的故障预测 值， 其中， 所述故障预测模型基于携带有故障预测值标签的训练样本训练得到； 在所述故障预测值大于故障阈值时， 判定所述目标工业设备故障， 否则判定所述目标 工业设备运行正常。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述 时序数据集输入训练完成的故 障预测模型， 输出 所述时序数据集的故障预测值， 包括： 将所述时序数据集输入GCU单 元， 输出所述时序数据集的特 征数据； 将所述特征数据输入第一线性层， 对所述特征数据进行维度变换， 并对所述特征数据 进行位置编码， 得到编码数据； 将所述编码数据输入多头注意力层， 对所述编码数据进行自注意特征计算， 并将计算 后的特征输入前馈层， 并对数据进行残差连接和层标准 化， 得到目标维特 征向量； 将所述目标维度特 征向量输入回归层， 输出 所述时序数据集的故障预测值。 3.根据权利要求1所述的方法， 其特征在于， 在将所述 时序数据集输入所述训练完成的 故障预测模型之前， 还 包括： 获取携带有故障预测值标签的训练样本和所述训练样本的实际预测值； 随机初始化Transformer编码器深度神经网络的初始权重， 将所述训练样本输入至初 始化后的Transformer编码器深度神经网络， 得到当前故障预测值； 根据所述当前故障预测值和所述实际预测值计算实际准确率， 在所述实际准确率小于 或等于准确率阈值时， 根据预设误差函数计算所述Tr ansformer编码器深度神经网络训练 的误差值， 通过梯度反向传播调整所述Tr ansformer编码器深度神经网络中各层的权重参 数； 基于权重参数调整后的Transformer编码器深度神经网络对所述训练样本进行重新预 测， 直到所述实际准确率大于所述准确率阈值， 或者， 训练迭代 次数达到预设次数时， 停止 迭代训练， 并得到所述故障预测模型。 4.根据权利要求1 ‑3任意一项所述的方法， 其特征在于， 在将所述 时序数据集输入训练 完成的故障预测模型之前， 还 包括： 利用预设特征评判标准从所述时序数据集中筛选得到表示健康状态退化的传感器特 征维度数据； 对所述传感器特征维度 数据进行数据 预处理， 得到所述传感器特征维度 数据的特征向 量。 5.一种基于Transformer深度神经网络的工业设备故障预测装置， 其特 征在于， 包括： 数据收集模块， 用于获取目标工业设备的健康状态对应的时序数据集； 输入模块， 用于将所述时序数据集输入训练完成的故障预测模型， 输出所述时序数据 集的故障预测 值， 其中， 所述故障预测模型基于携带有故障预测 值标签的训练样本训练得 到； 判断模块， 用于在所述故障预测值大于故障阈值 时， 判定所述目标工业设备故障， 否则权　利　要　求　书 1/2 页 2 CN 115186904 A 2判定所述目标工业设备运行正常。 6.根据权利要求5所述的装置， 其特 征在于， 所述数据处 理模块用于： 将所述时序数据集输入GCU单 元， 输出所述时序数据集的特 征数据； 将所述特征数据输入第一线性层， 对所述特征数据进行维度变换， 并对所述特征数据 进行位置编码， 得到编码数据； 将所述编码数据输入多头注意力层， 对所述编码数据进行自注意特征计算， 并将计算 后的特征输入前馈层， 并对数据进行残差连接和层标准 化， 得到目标维特 征向量； 将所述目标维度特 征向量输入回归层， 输出 所述时序数据集的故障预测值。 7.根据权利要求5所述的装置， 其特 征在于， 还 包括： 获取模块， 用于获取携带有故障预测值标签的训练样本和所述训练样本的实际预测 值； 预测模块， 用于随机初始化Transformer编码器深度神经网络的初始权重， 将所述训练 样本输入至初始化后的Transformer编码器深度神经网络， 得到当前故障预测值； 计算模块， 用于根据所述当前故障预测值和所述实 际预测值计算实 际准确率， 在所述 实际准确率小于或等于准确率阈值时， 根据预设误差函数计算所述Transformer编码器深 度神经网络训练的误差值， 通过梯度反向传播调整所述Tr ansformer编码器深度神经网络 中各层的权 重参数； 生成模块， 用于基于权重参数调整后的Transformer编码器深度神经网络对所述训练 样本进行重新预测， 直到所述 实际准确率大于所述准确率阈值， 或者， 训练迭代次数达到预 设次数时， 停止迭代训练， 并得到所述故障预测模型。 8.根据权利要求5 ‑7任意一项所述的装置， 其特 征在于， 还 包括： 筛选模块， 用于利用预设特征评判标准从所述 时序数据集中筛选得到表示健康状态退 化的传感器特 征维度数据； 预处理模块， 用于对所述传感器特征维度数据进行数据预处理， 得到所述传感器特征 维度数据的特 征向量。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑4任一项所 述的基于Transformer深度神经网络的工业设备故障预测方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑4任一项所述的基于Transformer深度神经网络的工业设备 故障预测方法。权　利　要　求　书 2/2 页 3 CN 115186904 A 3