(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210638361.3 (22)申请日 2022.06.08 (71)申请人 南昌大学 地址 330000 江西省南昌市红谷滩新区学 府大道999号 (72)发明人 邱志斌　周志彪　李俊轩　童志鹏　 张润　朱轩　 (74)专利代理 机构 北京众合诚成知识产权代理 有限公司 1 1246 专利代理师 王焕巧 (51)Int.Cl. G06V 10/30(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的电网危害鸟种目标检 测方法 (57)摘要 本发明公开了一种基于深度学习的电网危 害鸟种目标检测方法， 首先利用Avibase世界鸟 类数据库与收集的输电线路巡检图像， 构建威胁 电网安全的相关鸟种图像数据集， 并基于改进的 DnCNN去噪网络模型对鸟种图像数据集进行预处 理， 对预处理后的图像进行标签制作， 获得图像 中鸟种的真实边界框位置和框内类别信息； 然后 采用聚类算法对真实边界框的高和宽进行聚类 分析， 得到最优先验框， 并将鸟种图像数据集划 分为训练集、 验证集与测试集； 构建并训练改进 的YOLOv4鸟种目标检测模型； 最后利用训练后的 改进YOLOv4鸟种目标检测模型对测试集图像进 行检测。 本发 明可为电网涉鸟故障差异化防治提 供参考。 权利要求书2页 说明书6页 附图3页 CN 114842208 A 2022.08.02 CN 114842208 A 1.一种基于深度学习的电网危害鸟种目标检测方法， 其特 征在于， 包括如下步骤： S1、 构建威胁电网安全的相 关鸟种图像数据集与基于改进 的DnCNN去噪网络模型预处 理方法： 利用Avibase世界鸟类数据库与收集的输电线路巡检图像， 建立包含N种鸟类的图 像数据集； 搭建包含12层的改进DnCNN去噪网络模 型对鸟种图像数据集进 行预处理， 将预 处 理后的鸟种图像数据集按一定比例划分为训练集、 验证集和测试集； 并对预处理后的鸟种 图像进行标注， 获得真实目标边界框位置和框内类别信息， 再通过K ‑means算法将真实目标 边界框的高和宽作为 参数进行聚类， 得到最优先验框； S2、 构建改进的YOLOv4鸟种目标检测模型： 利用改进的GhostNet替换YOLOv4中的 CSPDarkNet53特征提取网， 并利用深度可分离卷积DSC替换YOLOv4中SPP+PANet的3 ×3普通 卷积块， 且将PANet 中的连续五次普通卷积块替换为三次深度可分离卷积DSC， 形成新的金 字塔池化网络SPP ‑DSC+PANet ‑DSC； 在改进的GhostNet中选取的特征信息输入SPP ‑DSC+ PANet‑DSC之前引入CBAM注意力机制， 并将YOLO_h ead预测网络中的3 ×3普通卷积块替换为 深度可分离卷积D SC； S3、 训练改进的YOLOv4鸟种目标检测模型： 通过对输入 的训练集鸟种图像增加灰条进 行Resize操作， 并将在MS  COCO图像数据集上训练获得的预训练权重， 进行包括冻结和非冻 结两个阶段的迁移学习， 在冻结阶段中， 冻结具有权重参数的层， 对非冻结层进行参数调 整， 在非冻结阶段， 微调网络所有层的参数； 采用Mosaic数据增强方式， 每次随机选取四幅 鸟种图像进 行翻转、 缩放、 色域变换的操作， 再将操作后的图像按照上下左右四个方向进 行 拼凑成一幅鸟种图像加入训练集进行 随机增强， Mosaic数据增强设置在训练结束前的N个 epoch； 学习率调整采用线性上升和模拟cos函数 下降的余弦退火衰减策略； S4、 采用改进的YOLOv4鸟种目标检测模型对鸟种图像进行检测： 将测试集鸟种图像输 入至改进的Y OLOv4鸟种目标检测模 型中进行检测， 并采用非极大值抑制筛选冗余预测边界 框， 获得最终保留的边界框， 实现鸟种目标的检测。 2.根据权利要求1所述的一种基于深度学习的电网危害鸟种目标检测方法， 其特征在 于， 步骤S1 中， 所述搭建包含12层的改进DnCNN去噪网络模 型， 第1层由普通卷积Conv和激活 函数Mish组成， 其中采用64个3 ×3的卷积核进行特征提取， 步长为1， 并且在第1层和最后1 层添加一个残差连接形成残差块； 第2～11层由普通卷积 Conv、 BN层、 激活函数Mish组成， 其 中采用64个3 ×3的卷积核进 行特征提取， 步长为1， 并且在第2层和第11层、 第3层和第10层、 第4层和第9层、 第5层和第 8层、 第6层和第7层分别添加一个残差连接形成5个残差块； 最后1 层由普通卷积 Conv组成， 其中32个3 ×3的卷积核进行还原输出， 步长为1； 在训练过程中， 采 用动量随机梯度下降SGDM算法对改进的DnCN N去噪网络模型参数进行优化； 针对于一幅R、 G、 B三通道的鸟种彩色图像， 将训练后的去噪网络模型分别对三个颜色 通道进行单独去噪， 再将单独去噪后的三幅单通道图像进 行合并， 生成去噪后的RGB鸟类图 像。 3.根据权利要求1所述的一种基于深度学习的电网危害鸟种目标检测方法， 其特征在 于， 步骤S1 中， 使用标注工具Labelimg对预 处理后图像进行标注， 获得真实边界框的左下顶 点坐标(xmin， ymin)、 右上顶点坐标(xmax， ymax)和框内目标所属类别， 生成.xml文件； 采用K ‑ means算法对真实边界框的高h＝ymax‑ymin和宽w＝xmax‑xmin作聚类分析， 在聚类选择中随机 选取9个初始先验框尺寸作为聚类中心， 判定第i个真实边界框与第j个初始先验框的距离权　利　要　求　书 1/2 页 2 CN 114842208 A 2达到最小值时， 则第i个真实边界框属于j个初始先验框， 其中 是真实边 界框和初始先验框的交并比； 所有真实边界框归类完成后， 利用取h和w均值更新各个先验 框的尺寸， 再次进行归类迭代直至先验框的尺寸 不再变化， 最终得到9个最优先验框 。 4.根据权利要求1所述的一种基于深度学习的电网危害鸟种目标检测方法， 其特征在 于， 步骤S2中， 所述改进的YOLOv4鸟种目标检测模 型结构由三部 分组成， 第一部 分为特征提 取网络Gho stNet‑Focus， 第二部分为空间金字塔池化网络SPP ‑DSC+PANet ‑DSC， 第三部分是 预测网络 YOLO_head； 搭建由1个CBR层和16个G ‑bneck层即G ‑bneck‑1～G‑bneck‑16组成的轻量级卷积神经 网络GhostNet， 在GhostNet网络中的CBR层前加入Focus层， 获得新的主干特征提取网络 GhostNet ‑Focus； 其中CBR层由普通卷积Conv、 BN层、 激活函数ReLU组成， G ‑bneck包含步长 为1和步长为2的两个类别， 当G ‑bneck步长为1时， G ‑bneck层依次包括 GhostNet  Module、 BN 层、 激活函数 ReLU、 Gho stNet Module、 BN层， 且G ‑bneck输入和输 出之间加入残差学习策略， 当G‑bneck步长为2时， G ‑bneck层依次包括GhostNet  Module、 BN层、 激活函数ReLU、 2 ×2的 深度可分离卷积DSC、 BN层、 GhostNet  Module、 BN层， 在残差部分依次添加2 ×2的深度可分 离卷积DSC和1 ×1普通卷积Conv， 当G ‑bneck‑i中i的值为2、 4、 6和12时步长为2， 反之则步长 为1， GhostNet  Module由1 ×1普通卷积Conv和深度可分离卷积DSC组成， 深度可分离卷积 DSC由3×3深度卷积与1 ×1逐点卷积组成； 选取GhostNet ‑Focus中的G ‑bneck‑5、 G‑bneck‑11、 G‑bneck‑16三个不同特征层的特征 信息作为SPP ‑DSC+PANet ‑DSC的输入， 进行最大池化操作和由深到浅与由浅到深的特征融 合， 最终输出F1、 F2和F3三个融合特征； 三个融合特征经过深度可分离卷积DSC与普通卷积 Conv之后分别对应YOLO_h ead预测网络中13 ×13×45、 26×26×45、 52×52×45三种不同尺 寸的预测结果， 实现对大、 中、 小鸟种目标的检测。 5.根据权利要求1所述的一种基于深度学习的电网危害鸟种目标检测方法， 其特征在 于， 步骤S3中， 所述的训练改进的YOLOv4鸟种目标检测模型： 冻结和非冻结阶段各进行50 轮， 共100轮， 在冻结阶段的batchsize和学习率分别为16、 1 ×10‑3， 在非冻结阶段的 batchsize和学习率分别为8、 1 ×10‑4； 余弦退火学习率衰减中设置最大学习率learning_ rate_base为1 ×10‑3、 最小学习率learning_rate_min为1 ×10‑6和预热学习率warmup_rate 为1×10‑5。权　利　要　求　书 2/2 页 3 CN 114842208 A 3