(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210659883.1 (22)申请日 2022.06.13 (71)申请人 中国科学院沈阳自动化研究所 地址 110016 辽宁省沈阳市沈河区南塔街 114号 申请人 南京南瑞信息通信科技有限公司 (72)发明人 宋纯贺　郑海洋　于诗矛　孙勇　 张文鹏　曾鹏　于海斌　 (74)专利代理 机构 沈阳科苑专利商标代理有限 公司 210 02 专利代理师 王倩 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06V 10/22(2022.01) G06V 10/80(2022.01) G06V 10/762(2022.01) G06V 10/75(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的变电站中佩戴绝缘手 套的检测方法 (57)摘要 本发明属于信号处理技术领域， 具体 说是一 种基于深度学习的变电站中佩戴绝缘手套的检 测方法， 包括以下步骤： 采集变电站场景的RGB图 像； 建立并训练深度学习模型， 将RGB图像输入至 深度学习模 型进行预测， 得到用于表 示人体与手 的目标检测类别、 目标边界框位置以及该目标对 应的置信度， 以表示图像中包含的未佩戴绝缘手 套的手、 佩戴绝缘手套的手和人体的信息； 将得 到的上述信息通过逻辑匹配算法进行匹配， 得到 每个人体和它对应的手； 并进行投票， 最终确认 图片中的施工人员是否佩戴了绝缘手套。 本发明 对原有的检测模型YOL Ov3网络模型进行了改进， 提高了对 小目标的检测精度。 权利要求书2页 说明书5页 附图3页 CN 115049875 A 2022.09.13 CN 115049875 A 1.一种基于深度学习的变电站中佩戴绝缘手套的检测方法， 其特征在于， 包括以下步 骤： 1)通过摄 像头采集变电站场景的RGB图像； 2)建立深度学习模型并训练深度学习模型， 将变电站场景的RGB图像输入至训练好的 深度学习模型进行预测， 得到用于表示人体与手的目标检测类别、 目标边界框位置以及该 目标对应的置信度， 以表示图像中包含的未佩戴绝缘手套的手、 佩戴绝缘手套的手和人体 的信息； 3)将得到的所有未佩戴绝缘手套的手和佩戴绝缘手套的手与所有的人体通过逻辑匹 配算法进行匹配， 得到每 个人体和它对应的手； 4)根据步骤3)得到的每个人体和属于他的手进行投票， 最终确认图片中的施工人员是 否佩戴了绝 缘手套。 2.根据权利要求1所述的一种基于深度学习的变电站中佩戴绝缘手套的检测方法， 其 特征在于， 所述训练深度学习模型， 包括以下步骤： 将变电站场景的RGB图像、 以及对RGB图像中人体和手的标注边界框及类别信息构成训 练集； 将变电站场景的RGB图像、 以及对RGB图像中人体和手的标注边界框及标注类别构成测 试集； 将变电站场景的RGB图像作为输入， 将预测类别、 预测类别置信度分数和预测类别边界 框坐标作为输出， 训练深度学习模型。 3.根据权利要求1所述的一种基于深度学习的变电站中佩戴绝缘手套的检测方法， 其 特征在于， 所述深度学习模型采用YOLOv3网络模型， 其中， 将YOLOv3网络模型中第3个尺度 的特征融合图实现上采样， 然后与Darknet ‑53中的2次下采样特征图融合， 形成预测特征 层； 所述预测特征层的尺度大于第3个尺度的76x76预测特征层， 以提 高对于手这个类别的 检测准确率； 所述预测特 征层尺度为152 ×152； 与19x19， 38x38， 76x76， 152x152这个四个预测特征层对应的初始边界框通过聚类分析 算法得到 。 4.根据权利要求3所述的一种基于深度学习的变电站中佩戴绝缘手套的检测方法， 其 特征在于， 所述初始边界框通过聚类分析算法得到， 包括以下步骤： distance＝1 ‑IoU(B,C) B、 C分别为训练集图像中的任意两个边界框， C表示在B中挑选出来簇中心， 通过比较 distance的大小， 得到变电站图像训练集 不同尺寸的初始边界框 。 5.根据权利要求4所述的一种基于深度学习的变电站中佩戴绝缘手套的检测方法， 其 特征在于， 交并比I oU通过下式实现： M和N分别代 表目标的边界框， I oU表示二者面积的交集除以二 者面积的并集。 6.根据权利要求1所述的一种基于深度学习的变电站中佩戴绝缘手套的检测方法， 其权　利　要　求　书 1/2 页 2 CN 115049875 A 2特征在于， 所述逻辑匹配算法包括以下步骤： 在手的分配阶段， 通过对相同类别的每个预测边界框相互计算交并比， 当两个预测边 界框交并比IoU 大于阈值时， 判定这两个边界框预测的为图片中同一个目标， 保留最大置信 度的预测边界框， 以去除对同一物体重复预测的边界框； 首先， 判别检测算法预测的物体种类里是否有人； 若没有， 则直接输出图片中无预测目 标； 如果有人， 判断是否只有一个人； 当只有一个人的情况， 直接查询预测分类中手的类别来确定图片中的施工人员是否正 确佩戴了绝 缘手套； 当有两个人以上时， 通过分配算法匹配手与人的所属关系， 以确定施工人员是否正确 佩戴了绝 缘手套。 7.根据权利要求6所述的一种基于深度学习的变电站中佩戴绝缘手套的检测方法， 其 特征在于， 所述分配算法如下： 计算每只手的边界框的中心与每个人的边界框的中心的距离， 将距离最小的手与 人划 分为一组； 计算每一只手的边界框与每一个人的边界框的交并比， 将交并比最大的手与 人划分为 一组； 计算出每一个手部与每个人相交 的面积与自身面积的比值， 将比值最大时的手与 人划 分为一组。 8.根据权利要求1或6所述的一种基于深度 学习的变电站中佩戴绝缘手套的检测方法， 其特征在于， 根据分配算法的每一个规则， 每个人体类别都包含未佩戴绝缘手套的手和佩 戴绝缘手套的手， 计算每一个手被分配给某个人体的次数， 取次数最多的二者相互配对成 功， 即表示 二者属于同一个人。 9.根据权利要求1或6所述的一种基于深度 学习的变电站中佩戴绝缘手套的检测方法， 其特征在于， 所述目标检测类别包括人、 正确佩戴了绝缘手套的手、 未正确佩戴了绝缘手套 的手。权　利　要　求　书 2/2 页 3 CN 115049875 A 3