(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211384772.0 (22)申请日 2022.11.07 (71)申请人 中科航迈数控软件 （深圳） 有限公司 地址 518000 广东省深圳市南 山区桃源街 道平山社区留仙大道 4168号众冠时代 广场A座2010 (72)发明人 杨之乐　刘祥飞　饶建波　郭媛君　 谭勇　朱俊丞　余发国　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 陈专 (51)Int.Cl. G06F 3/01(2006.01) G06Q 10/00(2012.01) G06T 17/00(2006.01)G06T 19/00(2011.01) G09B 5/06(2006.01) G02B 27/01(2006.01) (54)发明名称 基于AR眼镜的设备维修指导方法、 系统及相 关设备 (57)摘要 本发明公开了一种基于AR眼镜的设备维修 指导方法、 系统及相关设备， 方法包括： 通过第一 目标对象对应的AR眼镜扫描获取待维修 设备； 获 取待维修设备对应的静态信息和三维虚拟模型； 在接收到第一目标对象输入的远程联络指令时 为第一目标对象与第二目标对象建立通信通道； 获取待维修 设备对应的动态信息和描述信息， 通 过通信通道向第二目标对象传输待维修设备对 应的静态信息、 三维虚拟模型、 动态信息和描述 信息以触发第二目标对象返回目标维修指导方 案； 获取目标维修指导方案， 通过AR眼镜向第一 目标对象输出目标维修指导方案以触发第一目 标对象根据目标维修指导方案对待维修设备进 行维修。 本发 明方案有利于提高设备维修的效率 和效果。 权利要求书3页 说明书14页 附图2页 CN 115437507 A 2022.12.06 CN 115437507 A 1.一种基于AR眼镜的设备维修指导方法， 其特 征在于， 所述方法包括： 通过第一目标对象对应的AR眼镜扫描获取待维修设备； 获取所述待维修设备对应的静态信 息和三维虚拟模型， 并通过所述AR眼镜向所述第一 目标对象输出所述静态信息和所述三 维虚拟模型， 其中， 所述静态信息包括设备型号、 设备 种类和设备安全运行限定信息； 在接收到所述第一目标对象输入的远程联络指令时， 为所述第 一目标对象与第 二目标 对象建立 通信通道； 获取所述待维修设备对应的动态信 息和描述信 息， 通过所述通信通道向所述第 二目标 对象传输所述待维修设备对应的静态信息、 三维虚拟模型、 动态信息和描述信息以触发所 述第二目标对象返回目标维修指导方案， 其中， 所述动态信息包括设备图像和/或设备视 频， 所述描述信息包括所述第一目标对象输入的用于描述所述待维修设备的故障状态的文 本信息和/或语音信息； 获取所述第 二目标对象通过所述通信通道返回的目标维修指导方案， 通过所述AR眼镜 向所述第一目标对象输出所述目标维修指导方案以触发所述第一目标对 象根据所述目标 维修指导方案对所述待维修设备进行维修。 2.根据权利要求1所述的基于AR眼镜的设备维修指导方法， 其特征在于， 在所述获取所 述待维修设备对应的静态信息和三维虚拟模型之前， 所述方法还 包括： 将待扫描区域内各个待扫描设备的静态信息 录入所述AR眼镜中； 通过预设的三维模型处理软件构建各所述待扫描设备的三维可视化模型， 分别对各所 述三维可视化模型的零部件进 行信息标注， 并对标注后的所述三 维可视化模型进 行渲染以 获得各所述待扫描设备对应的三维虚拟模型， 将各 所述三维虚拟模型存 入所述AR眼镜中； 其中， 所述待维修设备 是所述待扫描区域内的一个待扫描设备。 3.根据权利要求2所述的基于AR眼镜的设备维修指导方法， 其特征在于， 所述获取所述 待维修设备对应的静态信息和三维虚拟模型包括： 当所述AR眼镜扫描到所述待维修设备时， 采集获取所述待维修设备对应的多张识别图 像， 将所述多张识别图像输入已训练的设备识别模型并获取所述待维修设备对应的设备型 号， 其中， 所述多张识别图像中各 所述识别图像对应的采集角度不同； 根据所述设备型号从所述AR眼镜 中搜索获所述待维修设备对应的三维可视化模型、 设 备种类和设备安全运行限定信息 。 4.根据权利要求1所述的基于AR眼镜的设备维修指导方法， 其特征在于， 所述在接收到 所述第一目标对象输入的远程联络指 令时， 为所述第一目标对象与第二目标对象建立通信 通道， 包括： 在接收到所述第一目标对象输入的远程联络指令时， 根据 预设的远程对象库获取各个 远程指导对象的在线状态； 根据所述设备型号、 所述设备种类和所述远程对象的在线状态从所述远程对象库中确 定至少一个第二目标对象； 为所述第一目标对象与所述第二目标对象建立 通信通道。 5.根据权利要求1所述的基于AR眼镜的设备维修指导方法， 其特征在于， 所述方法还包 括：权　利　要　求　书 1/3 页 2 CN 115437507 A 2实时获取模型更新指令， 根据 所述模型更新指令对所述三维虚拟模型进行实时更新并 向所述第一目标对象和所述第二目标对象同步显示更新后的三维虚拟模型； 其中， 所述模型更新指令包括所述第 一目标对象和所述第 二目标对象输入的模型操作 指令， 所述模型操作指令包括拆解指令、 拖动指令、 组合指令和标注指令， 所述第一目标对 象通过所述AR眼镜以手势控制和/或语音控制的方式输入所述模型操作指令 。 6.根据权利要求5所述的基于AR眼镜的设备维修指导方法， 其特征在于， 所述通信通道 包括互相独立的设备信息通信通道、 指导方案通信通道和模型操作通信通道； 所述设备信 息通信通道用于传输所述待维修设备对应的静态信 息、 动态信 息和描述信 息； 所述指导方案通信通道用于传输所述目标维修指导方案； 所述模型操作通信通道用于传输所述模型 更新指令 。 7.根据权利要求1所述的基于AR眼镜的设备维修指导方法， 其特征在于， 所述方法还包 括： 在所述第一目标对象根据所述目标维修指导方案中的一个目标步骤对所述待维修设 备进行维修时， 获取所述第一 目标对象的维修操作图像， 将所述维修操作图像发送给所述 第二目标对象和/或已训练的操作判断模型， 以触发所述第二目标对象和/或所述已训练的 操作判断模型进行误操作判断， 其中， 所述已训练的操作判断模型用于对所述维修操作图 像进行特征识别以获取操作特征， 将所述操作特征与所述目标步骤对应的步骤特征进 行对 比以进行误操作判断； 在接收到误操作指示信息时， 对所述第一目标对象进行误操作告警提示， 并限制所述 AR眼镜不再输出所述目标维修指导方案中所述目标步骤之后的步骤， 直到所述第一目标对 象修正与所述目标步骤 对应的误操作； 其中， 所述误操作指示信 息是通过所述已训练的操作判断模型获取的模型判断信 息和 所述第二目标对象输入的指导对象判断信息中的任意 一种。 8.根据权利要求7所述的基于AR眼镜的设备维修指导方法， 其特征在于， 所述方法还包 括： 在接收到误操作指示信 息时， 根据 所述误操作指示信 息获取所述误操作指示信 息对应 的错误等级， 并记录所述目标步骤 对应的误操作持续时间； 当所述错误等级超过预设的等级阈值或所述误操作持续 时间超过预设的时间阈值 时， 锁定所述第一目标对象的维修操作权限， 并向预设的移动设备发送权限锁定告警信息 。 9.一种基于AR眼镜的设备维修指导系统， 其特 征在于， 所述系统包括： 设备扫描模块， 用于通过第一目标对象对应的AR眼镜扫描获取待维修设备； 信息获取模块， 用于获取所述待维修设备对应的静态信息和三维虚拟模型， 并通过所 述AR眼镜向所述第一 目标对象输出所述静态信息和所述三维虚拟模型， 其中， 所述静态信 息包括设备 型号、 设备种类和设备安全运行限定信息； 通信模块， 用于在接收到所述第一目标对象输入的远程联络指令时， 为所述第一目标 对象与第二目标对象建立 通信通道； 信息处理模块， 用于获取所述待维修设备对应的动态信息和描述信息， 通过所述通信 通道向所述第二目标对 象传输所述待维修设备对应的静态信息、 三维虚拟模型、 动态信息权　利　要　求　书 2/3 页 3 CN 115437507 A 3