(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210675238.9 (22)申请日 2022.06.15 (71)申请人 武汉纺织大 学 地址 430200 湖北省武汉市洪山区纺织路1 号 (72)发明人 朱佳龙　姜明华　汤光裕　俞晨雨　 刘军　余锋　 (74)专利代理 机构 武汉维盾知识产权代理事务 所(普通合伙) 42244 专利代理师 彭永念 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01)G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/52(2022.01) (54)发明名称 基于深度学习的自动识别人员进入电力危 险区的检测方法 (57)摘要 本发明涉及基于深度学习的自动识别人员 进入电力危险区的检测方法， 包括： 拍摄采集电 力现场图像； 以图像左上角为坐标原点， 建立像 素坐标系； 划定电力现场图像中的危险区， 确定 危险区的坐标； 将电力现场实时的视频流输入到 作业人员现场位置检测网络， 根据所述检测网络 的输出确定作业人员的坐标； 将得到的作业人员 的坐标与危险区的坐标 实时对比， 判断作业人员 是否位于危险区， 若人员进入危险区， 则发出警 报。 本发明实现了人员进入电力危险区的自动识 别检测， 代替人工监督， 提高了人员危险检测的 可靠性和精度。 权利要求书3页 说明书6页 附图4页 CN 115171006 A 2022.10.11 CN 115171006 A 1.基于深度学习的自动识别人员进入电力危险区的检测方法， 其特征在于， 确定电力 危险区在电力现场图像中的坐标后， 利用作业人员现场位置检测网络对电力现场的视频图 像进行实时检测， 识别人员的位置坐标， 判断人员是否进入电力危险区； 所述作业人员现场位置检测网络包括深度残差网络、 浅层特征融合网络、 深层特征融 合网络和多尺度识别网络； 所述深度残差网络包括多个残差瓶颈结构， 用于从视频图像中 提取多个层次的浅层、 深层图像特征； 所述浅层特征融合网络用于对深度残差网络提取 的 不同层次的浅层图像特征进行融合； 所述深层特征融合网络用于对深度 残差网络提取的不 同层次的深层图像特征进 行融合； 所述多尺度识别网络包含多尺度感知模块， 用于大、 小目 标的检测； 所述检测方法包括以下步骤： 步骤1： 拍摄采集电力现场图像； 步骤2： 以图像左上角为 坐标原点， 建立像素坐标系； 步骤3： 划定电力现场图像中的危险区， 确定危险区的坐标； 步骤4： 将电力现场实时的视频流输入到作业人员现场 位置检测网络， 根据所述检测网 络的输出确定作业人员的坐标； 步骤5： 将步骤4得到的作业人员的坐标与危险区的坐标实时对比， 判断作业人员是否 位于危险区， 若人员进入危险区， 则发出警报。 2.根据权利要求1所述的自动识别人员进入电力危险区的检测方法， 其特征在于， 作业 人员现场位置检测网络对电力现场的视频图像的实时检测过程包括如下3个阶段： 第一阶段， 深度残差网络从视频图像 中提取多个层次的浅层、 深层图像特征， 所述深度 残差网络包括依次相连的5个残差瓶颈结构， 每个残差瓶颈结构都包括一个卷积核 大小为3 ×3的卷积层和ReLu激活函数， 用于调整下一层残差瓶颈结构输入的特 征图大小； 第二阶段， 分别利用浅层特征融合网络、 深层特征融合网络对不同层次的浅层、 深层图 像特征进行特征融合； 浅层特征融合网络将深度残差网络的第一残差瓶颈结构、 第二残差瓶颈结构、 第三残 差瓶颈结构提取的图像特征进 行特征融合， 再将融合的图像特征进 行2个分支的卷积处理， 其中第一个分支依次进 行卷积核 大小为1×3的卷积和卷积核 大小为3×1的卷积， 第二个分 支依次进 行卷积核 大小为3×1的卷积和卷积核 大小为1×3的卷积， 然后将第一个分支和 第 二个分支输出的图像特 征进行特征融合后， 输入激活函数中激活 处理； 深层特征融合网络将深度残差网络的第四残差瓶颈结构、 第五残差瓶颈结构提取的深 层图像特征进行特征融合后分为2个分支， 其中一个分支依次进行全局池化、 全连接、 全连 接、 激活函数的处理， 另一个分支进行加权处理， 然后将2个分支输出的特征图像进行特征 融合； 第三阶段， 利用多尺度识别网络根据浅层特征融合网络、 深层特征融合网络输出的特 征图像分别进行 大、 小目标检测； 所述多尺度识别网络包括依次连接的4层卷积核大小为3 ×3的卷积、 激活函数层， 其中 第2层卷积、 激活函数层的输出送入多尺度感知 模块进行大目标检测， 第4层卷积、 激活函数 层的输出送入另一个多尺度感知模块进行小目标检测。 3.根据权利要求2所述的自动识别人员进入电力危险区的检测方法， 其特征在于， 所述权　利　要　求　书 1/3 页 2 CN 115171006 A 2残差瓶颈结构， 对输入 先进行批归一化、 ReLu激活函数的处理后， 再进行卷积核 大小为1×1 的卷积升维、 批归一化、 ReLu激活函数的处理， 然后进行卷积核大小为3 ×3的卷积、 ReLu激 活函数的处理， 最后进行卷积核大小为1 ×1的卷积使通道数与原始输入图像的通道数一 致， 并与输入图像进行 特征融合。 4.根据权利要求2所述的自动识别人员进入电力危险区的检测方法， 其特征在于， 所述 多尺度感知 模块包括4个分支， 其中第一分支进 行卷积核 大小为1×1的卷积； 第二分支依次 进行卷积核大小为1 ×1的卷积、 卷积核大小为1 ×3的卷积、 卷积核大小为3 ×1的卷积和卷 积核大小为3×3的空洞卷积； 第三分支依次进行卷积核 大小为1×1的卷积、 卷积核 大小为1 ×3的卷积、 卷积核 大小为3×1的卷积和卷积核大小为3 ×3的空洞卷积； 第四分支依次进 行 卷积核大小为1×1的卷积、 卷积核大小为3 ×3的卷积， 最后将4个 分支的输出进 行自适应特 征融合。 5.根据权利要求4所述的自动识别人员进入电力危险区的检测方法， 其特征在于， 所述 自适应特征融合， 是将多尺度感知模块中4个分支输出 的不同感受野大小的特征图进行融 合， 对4个分支分别设置不同的权 重进行加权求和， 得到最终的特 征图Y， 具体表达式如下： Y＝α×X1+β×X2+χ×X3+e×X4 α +β +χ + ε＝1 式中Xi,i＝1,2,3,4表示第i 分支输出的特征图； α, β, χ, ε分别表示第一 分支、 第二 分支、 第三分支、 第四分支的权重； λa, λβ, λχ, λe分别表示对输入特征图Xi,i＝1,2,3,4进行1 ×1卷 积降维后的单通道特 征图。 6.根据权利要求5所述的自动识别人员进入电力危险区的检测方法， 其特征在于， 步骤 3中， 所述划定电力 现场图像中的危险区， 基于像素坐标系， 采用人工方式确定危险区对应 的图像块的坐标 数据LD， LD＝(uD,vD,wD,hD) 式中uD是危险区范围在u轴上的值， vD是危险区范围在v轴上的值， wD是危险区范围的长 度， hD是危险区范围的高度。 7.根据权利要求6所述的自动识别人员进入电力危险区的检测方法， 其特征在于， 步骤 4中， 所述确定作业人员的坐标， 得到图像中作业人员的坐标 数据Lp， LP＝(uP,vP,wP,hP) 式中up是作业人员的坐标在u轴上的值， vp是作业人员的坐标在v轴上的值， wp是作业人 员的坐标的长度， hp是作业人员的坐标的高度。 8.根据权利要求7所述的自动识别人员进入电力危险区的检测方法， 其特征在于， 步骤 5采用危险区域判定法判断作业人员是否位于危险区； 所述危险区域判定法将人工划定的危险区域LD＝(uD,vD,wD,hD)和人员现场位置检测网 络中得到作业人员的位置LP＝(uP,vP,wP,hP)进行实时对比， 具体 计算式如下：权　利　要　求　书 2/3 页 3 CN 115171006 A 3