(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211035697.7 (22)申请日 2022.08.26 (71)申请人 国网山东省电力公司枣庄供电公司 地址 277000 山东省枣庄市新城区黄河路 999号 申请人 国家电网有限公司 　 华北电力大 学 （保定） (72)发明人 李岩　张健　宋士瞻　刘玉娇　 康文文　王坤　代二刚　李森　 刘振虎　韩锋　杨凤文　燕重阳　 张浩伟　庞春江　王新颖　邵绪强　 (74)专利代理 机构 石家庄国为知识产权事务所 13120 专利代理师 刘少卿(51)Int.Cl. G06F 16/483(2019.01) G06F 16/432(2019.01) G06F 16/438(2019.01) G06F 16/36(2019.01) G06T 19/00(2011.01) G06Q 10/00(2012.01) G06Q 50/06(2012.01) (54)发明名称 基于三维知识图谱的变电站设备AR辅助维 修方法及终端 (57)摘要 本发明提供一种基于三维知识图谱的变电 站设备AR辅助维修方法及终端。 该方法包括： 获 取故障发生位置的声音信号、 振动信号和红外热 图像； 分别对声音信号、 振动信号和红外热图像 进行特征向量提取， 获得故障特征向量； 将故障 特征向量与故障三维知识 图谱中多个样本特征 向量分别进行比对计算相似度； 根据相似度和所 述故障三维知识 图谱确定故障原因和目标维修 方案， 并将目标维修方案进行可视化展示； 获取 故障现场的实时图像信息， 根据实时图像信息和 目标维修方案生成虚实结合图像， 并将虚实结合 图像输入便携式AR设备显示模块进行展示， 以辅 助维修。 本发 明能够基于三维知识图谱实现快速 获取维修方案， 并通过AR辅助维修的方式提高工 作人员现场维修效率。 权利要求书2页 说明书10页 附图2页 CN 115510253 A 2022.12.23 CN 115510253 A 1.一种基于三维知识图谱的变电站设备AR辅助维修方法， 其特 征在于， 包括： 获取故障发生 位置的声 音信号、 振动信号和红外热图像； 分别对所述声音信号、 所述振动信号和所述红外热图像进行特征向量提取， 获得故障 特征向量； 将所述故障特征向量与故障三维知识图谱中多个样本特征向量分别进行比对计算相 似度； 根据相似度和所述故障三维知识图谱确定故障原 因和目标维修方案， 并将所述目标维 修方案进行 可视化展示； 获取故障现场的实时图像信 息， 根据所述实时图像信 息和所述目标维修方案生成虚实 结合图像， 并将所述虚实结合图像输入便携式AR设备显示模块进行展示， 以辅助维修； 其 中， 所述故障三维知识图谱中包括： 故障原因， 和， 与各故障原因对应的故障零部件、 维修方 案、 维修工具的三维模型和样本特征向量； 所述样本特征向量包括： 声音信号样本特征向 量、 振动信号样本特 征向量和红外热图像样本特 征向量。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述实时图像信 息和所述目标方 案生成虚实结合图像， 包括： 根据所述目标维修方案确定对应的维修工具的三维模型， 并通过增强现实技术针对所 述维修工具的三维模型生成虚拟图像； 根据所述实时图像信息和所述目标维修方案确定与故障发生位置对应的故障零部件 和故障零部件的位置； 根据所述实时图像信息、 所述虚拟图像、 所述故障零部件和故障零部件的位置生成虚 实结合图像。 3.根据权利要求1或2所述的方法， 其特征在于， 在所述获取故障发生位置的声音信号、 振动信号和红外热图像之前， 还 包括： 采集变电站设备维修记录表和维修手册中的维修数据； 通过知识抽取的方式抽取出维修数据中表示实体和实体间关系的词汇， 并构建实体 ‑ 关系‑实体三元组结构数据； 采集设备故障时故障发生位置的声音信号、 振动信号和 红外热图像， 并分别提取出特 征向量， 构建故障原因与对应的特 征向量的三元组； 提取所述故障发生位置对应故障零件的特征向量， 构建故障零件与对应特征向量的三 元组； 对不同规格的维修工具进行三维建模， 生成维修工具三维模型， 并进行唯一编号， 根据 设备零件与维修工具的特 征匹配构建故障零件与维修工具编号的三元组； 将构建的所有三元组导入图数据库构建故障三维知识图谱。 4.根据权利要求1所述的方法， 其特征在于， 所述根据相似度和所述故障三维知识图谱 确定故障原因和目标维修方案， 包括： 对计算得到的多个相似度进行降序排序； 根据排序在前的一个或多个相似度值对应的样本特征向量和所述故障三维知识图谱 确定故障原因； 根据所述故障原 因确定一个或多个对应的维修方案作为推荐维修方案， 并对所述推荐权　利　要　求　书 1/2 页 2 CN 115510253 A 2维修方案进行 可视化展示； 获取目标维修方案选择指令， 并根据 所述目标维修方案选择指令从所述推荐维修方案 中确定目标维修方案 。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述推荐维修方案进行可视化展 示， 包括： 当存在多个推荐维修方案时， 根据历史选择次数对各推荐维修方案进行排序， 并按照 选择次数由多到少的顺序依次进行 可视化展示。 6.根据权利要求1所述的方法， 其特征在于， 当将所述虚实结合图像输入便携式AR设备 显示模块进行展示之后， 还 包括： 根据所述目标维修方案的维修 步骤生成语音提 示信息。 7.根据权利要求1所述的方法， 其特征在于， 当将所述虚实结合图像输入便携式AR设备 显示模块进行展示之后， 还 包括： 获取故障现场的实时红外热图像； 根据所述实时红外热图像识别故障现场设备 是否带电； 根据识别结果生成可视化信息， 并通过便携式AR设备显示模块在设定显示区域进行显 示。 8.根据权利要求1所述的方法， 其特 征在于， 还 包括： 当维修操作执行结束后， 再次获取所述故障发生位置的声音信号、 振动信号和 红外热 图像； 分别对所述声音信号、 所述振动信号和所述红外热图像进行特征向量提取， 获得临时 特征向量； 将所述临时特征向量与正常运行三维知识图谱中多个样本特征向量分别进行比对计 算相似度； 在相似度大于设定阈值时确定维修成功。 9.一种终端， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如上的权利要求1至8 中任一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如上的权利要求1至8中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115510253 A 3