(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210972333.5 (22)申请日 2022.08.15 (71)申请人 武汉烽火技术服务有限公司 地址 430205 湖北省武汉市东湖开发区关 山二路附4号 (72)发明人 李旺　魏明　余军　吴振威　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 向彬 (51)Int.Cl. G06T 19/00(2011.01) G06F 16/36(2019.01) G06T 7/00(2017.01) G06T 7/50(2017.01) G06T 7/70(2017.01)G06T 7/80(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的增强现实辅助装配作业引 导系统 (57)摘要 本发明提出一种基于深度学习的增强现实 辅助装配作业引导系统。 通过知识图谱技术， 对 增强现实辅助装配过程中信息的组织和管理进 行研究， 建立增强现实辅助装配知识图谱， 作为 增强现实辅助装配作业引导系统的数据支撑， 生 成适应于装配情景的可视化内容自适应呈现， 为 操作人员提供个性化的可视化内容需求。 采用基 于深度学习的增强现实虚实注册和遮挡方法， 实 现增强现实可视化引导过程中虚实注册和遮挡 的时效性、 稳定性和准确性。 利用卷积神经网络 对装配过程中的漏装、 错装进行集成检测， 提高 增强现实辅助装配过程中操作人员的装配质量。 权利要求书2页 说明书7页 附图3页 CN 115294308 A 2022.11.04 CN 115294308 A 1.一种基于深度学习的增强现实辅助装配作业引导系统， 其特征在于， 包括软件平台 和硬件平台， 其中： 软件平台由增强装配信息提取系统、 增强装配内容编辑系统、 增强装配引导系统和增 强装配知识图谱模块组成， 三个子系统分别应用于增强装配实施过程的不同阶段， 不同阶 段的数据通过增强装配知识图谱 模块进行组织和管理； 其中： 增强装配信息提取系统用于信息提取阶段， 将CAD辅助软件中的模型转换成轻量化模 型， 并提取模型的位姿信息用于虚拟场景的构建， 将数据保存在增强装配知识图谱 模块中； 增强装配 内容编辑系统应用于内容编 辑阶段， 负责将增强装配知识图谱模块提供的不 同类型可视化元素， 按照装配工艺文件的描述进行规划和布局， 从而生成增强装配指导文 件； 增强装配引导系统应用于现场引导阶段， 能够将增强装配指导文件和真实场景图像进 行虚实融合， 输出虚实融合视频引导操作人员进行装配作业， 并且能够对操作过程中的漏 装或错装问题进行检测反馈； 硬件平台包 含运算处理设备、 图像采集设备和交 互设备。 2.如权利要求1所述的基于深度 学习的增强现实辅助装配作业引导系统， 其特征在于， 增强装配信息提取系统用于从不同的数据载体中提取原始数据， 并对原始数据进 行轻量化 处理， 生成能够应用于增强现实系统的轻量 化数据， 保存在增强装配知识图谱 模块中。 3.如权利要求1或2所述的基于深度 学习的增强现实辅助装配作业引导系统， 其特征在 于， 增强装配内容编辑系统用于将增强装配知识图谱模块提供的可视化元素， 按照操作信 息要求进行布局和规划， 属于增强装配可视化引导的前端环节， 内容编辑阶段的根据装配 操作信息， 创建用表达装配操作信息的增强现实可视化内容。 4.如权利要求3所述的基于深度 学习的增强现实辅助装配作业引导系统， 其特征在于， 利用增强装配内容编辑系统规划可视化内容在虚实融合视频中显示的时间、 位置和类型， 增强现实 内容编辑生成的增强装配指导文件保存在增强装配知识图谱模块中， 应用于增强 装配现场可视化引导系统中。 5.如权利要求1或2所述的基于深度 学习的增强现实辅助装配作业引导系统， 其特征在 于， 增强装配现场引导系统应用于装配现场， 其面向的用户为现场装配操作人员， 现场引导 系统将增强装配知识图谱模块中的增强装配指导文件与真实装配场景进 行虚实融合， 根据 操作人员的状态， 提供适应操作人员个性化需求的可视化引导信息， 并对装配操作完成后 的结果进行质量检测。 6.如权利要求5所述的基于深度 学习的增强现实辅助装配作业引导系统， 其特征在于， 增强装配现场引导系统在应用于装配现场时， 首先通过单目相机获取真实装配场景的视频 图像， 然后通过增强现实的虚实注册处理方法和虚实遮挡处理方法， 将虚拟信息与真实场 景进行虚实融合引导装配作业， 在每个装配步骤完成后进行装配检测反馈处理， 即增强装 配现场引导系统利用相机拍摄的装配场景图像进 行装配结果检测， 并将 检测结果反馈给现 场操作人员。 7.如权利要求1或2所述的基于深度 学习的增强现实辅助装配作业引导系统， 其特征在 于， 增强装配知识图谱模块包括本体模块子模块、 实例节点子模块、 关系节点子模块和数据 保存子模块， 其中：权　利　要　求　书 1/2 页 2 CN 115294308 A 2所述本体模块子模块包含： 操作人员信 息本体、 可视化内容信 息本体、 增强装配指导信 息本体、 装配场景信息本体， 以及各类本体概念之 间的关系集合， 本体抽取采用自上而下的 方法进行抽取； 所述实例节点子模块， 利用本体概念对实例数据进行提取和保存， 对于文本类数据采 用神经网络LSTM进行提取， 对于其它非文本数据直接通过 人工提取； 所述关系节点子模块， 用于创建本体概念间关系， 以及实例数据之间的关系； 所述数据保存子模块， 用于保存不同应用场景的增强装配知识图谱 模块的数据。 8.如权利要求6所述的基于深度 学习的增强现实辅助装配作业引导系统， 其特征在于， 所述虚实注册处理方法， 采用全卷积神经网络进行虚实注册实现， 其中全卷积神经网络的 输入为RGB图片， 输出为图像中关键点的图像坐标， 在神经网络模型训练时， 全卷积神经网 络模型需要利用增强装配知识图谱模块中注册训练数据集进 行训练， 现场引导时通过调用 训练好的卷积神经网络模型进行注 册。 9.如权利要求6所述的基于深度 学习的增强现实辅助装配作业引导系统， 其特征在于， 所述虚实遮挡处理方法， 采用全卷积神经网络进行虚实遮挡实现， 其中全卷积神经网络的 输入为RGB图片， 输出为图像每个像素对应的深度值， 在神经网络模型训练时， 用于深度预 测的全卷积神经网络模型需要利用增强装配知识图谱模块中虚实遮挡训练数据集进行训 练， 现场引导时通过调用训练好的神经网络模型进行虚实遮挡深度预测。 10.如权利要求6所述的基于深度学习的增强现实辅助装配作业引导系统， 其特征在 于， 所述装配检测反馈处理包括： 根据增强装配可视化引导作业的需求， 采用卷积神经网络 检测得到的装配对象置信度值进 行漏装判断； 即采用改进的Y OLOv3卷积升级网络进 行装配 对象检测， 采用卷积神经网络检测得到的2D 检测框与装配对象轮廓匹配得到的相似度进 行 错装检测， 最后将 检测结果反馈给操作人员， 并将结果保存作为装配记录； 其中对YOLOv3改 进时通过增 加注意力机制， 以及其输出分支的数量 来提高装配对象检测的准确性。权　利　要　求　书 2/2 页 3 CN 115294308 A 3