(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211157621.1 (22)申请日 2022.09.22 (71)申请人 常州海图信息科技股份有限公司 地址 213000 江苏省常州市天宁区北塘河 东路17号 (72)发明人 徐卫星　姚俊俊　戚原野　 (74)专利代理 机构 常州市天龙专利事务所有限 公司 3210 5 专利代理师 张万兵 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) B65G 43/02(2006.01) G01N 21/88(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于机器视觉的运输皮带表面检测方 法及系统 (57)摘要 本申请公开了一种运输皮带表面检测方法 应用于安装在运输系统上的检测设备中， 一种基 于机器视觉的运输皮带表面检测方法及系统,所 述运输皮带表 面检测方法包括： 获取所述运输系 统皮带的目标区域图像， 所述目标区域图像是通 过安装在所述运输系统上的皮带图像采集设备 采集得到的； 利用已训练的RCNN模型对所述目标 区域图像进行图像识别， 确定所述目标区域图像 中的缺陷特征和运输系统工作信息； 基于所述目 标区域图像中的缺陷特征和运输系统工作信息 确定皮带状态， 可避免人工巡检时的不同人使用 不同主观标准， 同时可以替代人工巡检， 减少人 工及人工在危险区域作业， 提高作业效率。 权利要求书2页 说明书9页 附图2页 CN 115272980 A 2022.11.01 CN 115272980 A 1.一种运输皮带表面检测方法， 其特征在于， 应用于安装在运输系统上的检测设备中， 所述运输皮带表面检测方法包括： 获取所述运输系统皮带的目标区域图像， 所述目标区域图像是通过安装在所述运输系 统上的皮带图像采集设备采集得到的； 利用已训练的RCNN模型对所述目标区域图像进行图像识别， 确定所述目标区域图像 中 的缺陷特征和运输系统工作信息， 所述 RCNN模型是利用进 行了数据标注和数据增强后的图 像样本数据训练得到的， 所述数据标注包括标注缺陷特 征和运输系统工作信息； 基于所述目标区域图像中的缺陷特征和运输系统工作信 息， 确定所述目标区域图像存 在满足预设警示条件时， 通过核心网向预设终端发送缺陷预警信息， 所述缺陷预警信息至 少包括所述目标区域图像； 所述RCNN模型的训练方式包括： 利用所述图像样本数据对基于深度学习创建的RCNN模 型进行训练， 得到训练后的RCNN模型， 用深度卷积层替换所述训练后的RCNN模型中的在先 卷积层， 针对 所述训练后的RCNN模 型中的任意一个卷积内核， 执行以下操作： 确定所述一个 卷积内核去除前后， 所述训练后的RCNN模型的LOSS值差值或LOSS值比值， 并将所述LOSS值 差值或所述 LOSS值比值， 作为所述 一个卷积内核的丢失的影响信息量。 2.如权利要求1所述的方法， 其特 征在于， 基于所述训练后的RCNN模型中各卷积内核参数的丢失的影响信息量， 去除所述训练后 的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核， 得到第一RCNN模型， 其中所 述丢失的影响信息量表征卷积内核参数对所述训练后的RCNN模型的丢失函数的影响度， 对 所述第一RCNN模型中各卷积内核参数的参数值进行参数值量化处理， 得到所述已训练的 RCNN模型。 3.如权利要求1所述的方法， 其特征在于， 所述深度 卷积层包括深度卷积内核和分离卷 积， 且设定数量的深度卷积层用于对所述 目标区域图像进行多次卷积运算， 得到所述 目标 区域图像中的缺陷特 征和运输系统工作信息 。 4.如权利要求1 ‑3任一项所述的方法， 其特征在于， 所述缺陷特征包括皮带撕裂、 堆叠、 划痕、 坑洼、 起皮等任一种情况中的一个或多个， 所述已训练的RCNN模型包括第一RCNN模 型， 或所述已训练的RCNN模 型包括第一RCNN模 型和第二RCNN模型， 其中： 所述第一RCNN模 型 用于对所述目标区域图像进行目标检测， 确定所述目标区域图像中的运输系统工作信息和 除所述皮带内的缺陷特征； 所述第二RCNN模型用于对所述目标区域图像进行皮带表面检 测， 确定所述目标区域图像中的缺陷点 位。 5.如权利要求1 ‑3任一项所述的方法， 其特征在于， 还包括： 对运行所述已训练的RCNN 模型的代码进 行运算提速， 以使利用所述已训练的RCNN模 型对所述目标区域图像进 行图像 识别时， 支持通过指 令数据流对所述已训练的RCNN模型中同一个卷积层的卷积运算进 行并 行处理。 6.如权利要求1 ‑3任一所述的方法， 其特征在于， 所述预设警示条件还包括运输物体特 征、 皮带物体接触 状态、 皮带周边环境中的一个条件或多个条件。 7.一种运输皮带表面检测系统， 其特 征在于， 包括： 图像采集单元， 用于获取所述运输系统皮带的目标区域图像， 所述目标区域图像是通 过安装在所述 运输系统上的皮带图像采集设备采集得到的；权　利　要　求　书 1/2 页 2 CN 115272980 A 2图像识别单元， 用于利用已训练的RCNN模型对所述目标区域图像进行图像识别， 确定 所述目标区域图像中的缺陷特征和运输系统工作信息， 所述 RCNN模型是利用进 行了数据标 注和数据增强后的图像样本数据训练得到的， 所述数据标注包括标注缺陷特征和运输系统 工作信息； 缺陷特征确定单元， 用于基于所述目标区域图像中的缺陷特征和运输系统工作信息， 确定所述目标区域图像存在 满足预设警示条件的运输系统时， 通过核心网向预设终端发送 缺陷预警信息， 所述 缺陷预警信息 至少包括所述目标区域图像； 所述RCNN模型的训练方式包括： 利用所述图像样本数据对基于深度学习创建的RCNN模型进行训练， 得到训练后的RCNN 模型； 用深度卷积层替换所述训练后的RCNN模型中的在先卷积层； 针对所述训练后的RCNN 模型中的任意一个卷积内核， 执行以下操作： 确定所述一个卷积内核去除前后， 所述训练后 的RCNN模型的LOSS值差值或LOSS值比值， 并将所述LOSS值差值或所述LOSS值比值， 作为所 述一个卷积内核的丢失的影响信息量。 8.如权利要求7 所述的系统， 其特 征在于， 所述系统还 包括： 除尘单元， 所述除尘单元包括阀门装置， 高压气/液喷射装置及清洁雨刮装置， 所述除 尘单元设置于所述图像采集单 元上， 并依据RCN N模型指令执 行除尘操作。权　利　要　求　书 2/2 页 3 CN 115272980 A 3