(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210417048.7 (22)申请日 2022.04.20 (71)申请人 沈阳中科奥 维科技股份有限公司 地址 110179 辽宁省沈阳市 浑南区高歌路 6-2号 (72)发明人 姚江　王智强　夏铁峰　李晓亮　 肖海波　闫东　王凯富　翟磊　 薛印波　 (74)专利代理 机构 沈阳科苑专利商标代理有限 公司 210 02 专利代理师 王倩 (51)Int.Cl. G06T 7/00(2017.01) G06V 20/52(2022.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06N 3/08(2006.01) G06K 9/62(2022.01) E02F 3/40(2006.01) E02F 9/28(2006.01) (54)发明名称 基于深度学习和机器视觉的矿用电铲铲斗 健康监测方法 (57)摘要 本发明属于露天矿电铲铲斗健康监测技术 领域， 具体是基于深度学习和机器视觉的矿用电 铲铲斗健康监测方法。 包括以下步骤： 一、 图像获 取， 从摄像头采集铲斗工作视频,将能看到铲斗 各部位的图像 保存为图像文件； 二、 图像准备， 对 各部位进行人工标记得到XML文件， 分成训练集 和验证集； 三、 训练预处理， 将XML文件转为 TFRecord格式文件， 最后作成PBTXT文件； 四、 实 施训练， 设置 管道配置文件， 训练得到三个结果， 生成冻结推理图文件； 五、 铲斗健康监测， 采集铲 斗工作视频输入LabVIEW开发环境， 按照各部位 监测算法进行实时的铲斗健康监测； 六、 报警， 监 测到部件脱落， 触发声光报警。 本发明解决了传 统方法只能识别铲斗斗齿脱落的问题， 能够监测 电铲铲斗各部位是否脱落。 权利要求书3页 说明书11页 附图6页 CN 114926399 A 2022.08.19 CN 114926399 A 1.基于深度学习和机器视觉的矿用电铲铲斗健康监测方法， 其特征在于， 包括以下步 骤： 获取铲斗图像； 对于每个铲斗图像， 对铲斗各部位进行标记得到带有标记信息的文件， 构成数据集； 根据数据集对神经网络模型进行训练， 得到训练好的神经网络模型作为铲斗识别模 型； 将实时采集的铲斗图像通过铲斗识别模型识别出铲斗各部位， 再对各部位进行实时的 铲斗健康监测。 2.根据权利要求1所述的基于深度学习和机器视觉的矿用电铲铲斗健康监测方法， 其 特征在于， 所述对铲斗各部位进行 标记得到带有标记信息的文件， 包括以下步骤： 对铲斗图像的各部位进行 标记， 得到每 个铲斗图像带有标记信息的XML文件； 所述标记信息用于表示 铲斗各部位， 包括斗齿、 钩铁、 异形、 A形、 铲斗 。 3.根据权利要求1所述的基于深度学习和机器视觉的矿用电铲铲斗健康监测方法， 其 特征在于， 所述根据数据集对神经网络模型进行训练前， 对数据集进 行预处理， 包括以下步 骤： 在数据集中， 分别将训练集和验证集中带 标记信息的文件转 为CSV文件； 分别将训练集和验证集中的CSV文件转 为TFRecord格式文件； 依据待识别各对象作成PBTXT 文件， 所述PBTXT 文件包括需要识别的铲斗各部位。 4.根据权利要求1所述的基于深度学习和机器视觉的矿用电铲铲斗健康监测方法， 其 特征在于， 所述 根据数据集对神经网络模型进行训练， 包括以下步骤： 将TFRecord格式文件、 PBTXT 文件导入神经网络模型， 进行训练， 得到训练结果文件； 根据训练结果文件生成固化好的用于表达神经网络模型的冻结推理图文件， 完成训 练。 5.根据权利要求1所述的基于深度学习和机器视觉的矿用电铲铲斗健康监测方法， 其 特征在于， 所述对各部位进行实时的铲斗健康监测， 包括斗齿 脱落识别， 执 行以下步骤： 5‑1、 初始化铲斗识别率为H， 斗齿识别率为K1， 斗齿1至斗齿n检查次数为N； 识别率用于 表示机器视觉结合冻结推理图文件对于识别对象的匹配程度， 最大值是1， 代表识别对象完 全匹配； 最小值是0； 当识别到铲斗并且识别到斗齿1 ‑n时， 将对应斗齿的检查次数重置为N； 当识别到铲斗并且没有识别到某个斗齿时， 将对应斗齿的检查次数减1， 检查次数为0时触 发报警； 5‑2、 对于识别出有铲斗出现的实时铲斗图像， 判断识别率是否大于等于H， 若是则进行 下一步， 否则返回步骤5 ‑2； 5‑3、 识别出有斗齿出现并且识别率大于等于K1， 若是则进行下一步， 否则返回步骤5 ‑ 2； 5‑4、 获取识别出的铲斗坐标及宽度， 在X坐标方向把铲斗平均分为n等份， 计算每等份 中心位置， 从左到右分别是1 ‑n等份中心位置； 5‑5、 遍历所有斗齿， 识别出斗齿坐标， 计算每个斗齿中心X坐标， 判断是否在铲斗1 ‑n等 份中心偏差设定范围内； 如果是则进行 下一步， 否则开始步骤5 ‑7； 5‑6、 设置步骤5 ‑5识别到的斗齿检查次数为 N；权　利　要　求　书 1/3 页 2 CN 114926399 A 25‑7、 所有斗齿1 ‑斗齿n检查次数减1； 5‑8、 判断斗齿1 ‑斗齿n检查次数 是否为0， 如果是则进行 下一步， 否则返回5 ‑2； 5‑9、 触发检查次数为0的斗齿报警， 返回步骤5 ‑2。 6.根据权利要求1所述的基于深度学习和机器视觉的矿用电铲铲斗健康监测方法， 其 特征在于， 所述对各部位进行实时的铲斗健康监测， 包括钩铁脱落的识别， 执 行以下步骤： 6‑1、 初始化铲斗识别率为H， 钩铁识别率为K2， 钩铁1 ‑钩铁m检查次数为N； 当识别到铲 斗并且识别到钩铁1 ‑钩铁m时， 会将对应钩铁的检查次数重置为N； 当识别到铲斗并且没有 识别到某个钩铁时， 会将对应钩铁的检查次数减1， 检查次数为0时会触发报警； 6‑2、 对于识别出有铲斗出现的实时铲斗图像， 判断识别率是否大于等于H， 若是则进行 下一步， 否则返回步骤6 ‑2； 6‑3、 识别出有钩铁出现并且识别率大于等于K2， 若是则进行下一步， 否则返回步骤6 ‑ 2； 6‑4、 获取识别出的铲斗坐标及宽度， 在X坐标方向把铲斗平均分为p等份， 从左到右第2 到第p‑1份的p‑2等份分别对应钩铁1 ‑m位置； 6‑5、 遍历所有钩铁， 识别出钩铁坐标， 判断是否在铲斗p ‑2等份范围内， 如果是则进行 下一步， 否则开始步骤6 ‑7； 6‑6、 设置步骤6 ‑5识别到的钩铁检查次数为 N； 6‑7、 所有钩铁1 ‑钩铁m检查次数减1； 6‑8、 判断钩铁1 ‑钩铁m检查次数 是否为0， 如果是则进行 下一步， 否则返回6 ‑2； 6‑9、 触发检查次数为0的钩铁报警， 返回步骤6 ‑2。 7.根据权利要求1所述的基于深度学习和机器视觉的矿用电铲铲斗健康监测方法， 其 特征在于， 所述对各部位进行实时的铲斗健康监测， 包括异形、 A形脱落识别， 执行以下步 骤： 7‑1、 初始化铲斗识别率为H， 异形、 A形识别率为K3， 异形左、 异形右、 A形左、 A形右检查 次数为N； 当识别到铲斗并且识别到异形左、 异形右、 A形左、 A形右其中一个或多个时， 会将 对应异形、 A形的检查次数重置为N； 当识别到铲斗并且没有识别到某个异形或A形时， 会将 对应异形或A形的检查次数减1， 检查次数为0时会触发报警； 其中， 异形为异形左和异形右 的至少一种， A形为A形左和A形右的至少一种； 7‑2、 对于识别出有铲斗出现的实时铲斗图像， 判断识别率是否大于等于H， 若是则进行 下一步， 否则返回步骤7 ‑2； 7‑3、 识别是否有任意一个异形或A形出现并且识别率大于等于K3， 若是则进行下一步， 否则返回步骤7 ‑2； 7‑4、 获取铲斗坐标及宽度， 在X坐标方向把铲斗最小值和最大值分别 对应异形或A形左 右位置； 7‑5、 遍历所有异形和A形， 获取异形和A形坐标， 判断是否在铲斗最小值和最大值的设 定像素范围内， 如果是则进行 下一步， 否则开始步骤7 ‑7； 7‑6、 设置步骤7 ‑5识别到的异形、 A形检查次数为 N； 7‑7、 所有异形和A形检查次数减1； 7‑8、 判断异形或A形检查次数 是否为0， 如果是则进行 下一步， 否则返回步骤7 ‑2；权　利　要　求　书 2/3 页 3 CN 114926399 A 3