(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210031802.3 (22)申请日 2022.01.12 (71)申请人 国网河南省电力公司电力科 学研究 院 地址 450000 河南省郑州市二七区嵩 山南 路85号 申请人 天津大学　国家电网有限公司 (72)发明人 朱新山　曾筠婷　郭志民　李斌　 王帅　屈璐瑶　李亚霖　刘昊　 田杨阳　毛万登　赵健　贺翔　 张小斐　袁少光　耿俊成　马斌　 魏小昭　 (74)专利代理 机构 北京智绘未来专利代理事务 所(普通合伙) 11689 代理人 张红莲(51)Int.Cl. G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) G06K 9/62(2022.01) (54)发明名称 感受野自适应的变电站绝缘子缺陷检测神 经网络构建方法 (57)摘要 感受野自适应的变电站绝缘子缺陷检测神 经网络构建方法， 基于真实场景下变电站巡检图 像， 采用缺陷模拟技术生成绝缘子缺陷样本， 构 建缺陷检测神经网络， 采用ResNest网络进行特 征提取， 获得三个不同分辨率的特征图， 经FPN以 通道拼接方式进行多尺度特征融合， 以实现跨特 征层的信息交互。 将FPN网络生成的不同分辨率 特征图送入感受野自适应选择模块， 以学习不同 尺度目标所需的感受野， 最后输入检测头获得类 别预测和边框回归预测结果。 采用本发明所述的 方法， 能够充分提取兼顾深层语义信息和浅层细 节信息的图像特征， 动态调整检测头的感受野， 增强特征的表达能力， 从而提升目标检测的精度 和鲁棒性， 以实现更精准的检测。 权利要求书4页 说明书12页 附图4页 CN 114419413 A 2022.04.29 CN 114419413 A 1.感受野自适应的变电站绝 缘子缺陷检测 神经网络构建方法， 其特 征在于， 所述方法包括： 步骤1， 采集真实场景 下变电站的巡检图像， 从巡检图像中提取绝 缘子图像； 步骤2， 基于缺陷模拟技术， 对绝缘子 图像进行数据增强以生成缺陷绝缘子样本 图像； 缺陷绝缘子样本图像中， 缺陷绝缘子片的数量与正常绝缘子片的数量比例为 1： 1； 利用缺陷 绝缘子样本图像构建变电站绝 缘子缺陷检测的数据集； 步骤3， 构 建缺陷检测神经网络， 缺陷检测神经网络包括： 基于ResNest残差模块的主干 网络， 采用通道拼接的FPN网络， 感受野自适应选择模块和检测头； 步骤4， 使用步骤2中构建的数据集对缺陷检测神经网络进行训练， 以训练好的缺陷检 测神经网络作为基于感受野自适应的变电站绝 缘子缺陷检测 神经网络 。 2.根据权利要求1所述的感受野自适应的变电站绝缘子缺陷检测神经网络构建方法， 其特征在于， 步骤1中， 巡检图像中包含多个电力设备图像， 通过图片裁剪后获得绝缘子图像， 利用 绝缘子图像构建原 始数据集。 3.根据权利要求2所述的感受野自适应的变电站绝缘子缺陷检测神经网络构建方法， 其特征在于， 步骤2包括： 步骤2.1， 基于统计法， 以绝 缘子图像中占比最大的像素颜色作为 缺陷填充色； 步骤2.2， 以如下关系式计算 绝缘子图像中背景和目标的类间方差最大值： 式中， 为绝缘子图像中背景和目标的类间方差 最大值， 并且 类间方差最 大值对应的灰 度值t作为 绝缘子图像中背景和目标的分割阈值； P0(t)和P1(t)分别为 绝缘子图像中背景和目标的像素点数占整幅图像的比例， H0(t)和H1(t)分别为 绝缘子图像中背景和目标的平均灰度值； 步骤2.3， 绝缘子图像的灰度 值区间为[0,m]， 以分割阈值t将绝缘子图像的灰度值区间 分割为第一区间[0,t]以及第二区间[t+1,m ]； 步骤2.4， 根据绝缘子图像灰度值的第一区间和第二区间， 以如下关系式对绝缘子图像 中的背景和目标进行分割： 式中， f(i,j)为分割前绝 缘子图像中第i行第j列的灰度值， P(i,j)为分割后绝 缘子图像中第i行第j列的灰度值； 满足P(i,j)＝1的区域， 为从绝 缘子图像中分割出来的目标， 即绝 缘子区域图像； 步骤2.5， 基于Radon变换法， 对绝缘子区域图像沿不同方向以不同截距的直线做线积 分， 取线积分最大值对应的直线作为 绝缘子区域主轴； 步骤2.6， 在绝缘子区域主轴的两侧， 与主轴距离为dist处分别做平行线， 将平行线外权　利　要　求　书 1/4 页 2 CN 114419413 A 2侧定义为缺陷生成区域； 其中， dist的值 为绝缘子片半径的0.5倍； 步骤2.7， 在缺陷生成区域内随机生成缺陷， 使用缺陷填充色对缺陷进行填充， 获得缺 陷绝缘子图像； 其中， 缺陷生成区域内随机生成的缺陷数量取值 为3～7； 步骤2.8， 利用高斯滤波器对缺陷绝缘子图像进行滤波平滑 处理， 生成缺陷绝缘子样本 图像。 4.根据权利要求3所述的感受野自适应的变电站绝缘子缺陷检测神经网络构建方法， 其特征在于， 步骤2中， 变电站绝 缘子缺陷检测的数据集按照4:1的比例划分为训练集和 测试集。 5.根据权利要求1所述的感受野自适应的变电站绝缘子缺陷检测神经网络构建方法， 其特征在于， 缺陷检测神经网络中， 利用基于ResNest残差模块的主干网络对缺陷绝缘子样本图像 进行特征提取， 获得三个不同分辨率的特征图； 对FPN网络中的融合方式进行改进， 即对三 个不同分辨率的特征图进 行通道拼接得到第一特征融合图、 第二特征融合图和 第三特征融 合图， 同时对三个不同分辨率的特征图中分辨率最低的特征图进行连续降维， 得到第四特 征融合图和第五特 征融合图； 将五个特征融合图输入至感受野自适应选择模块中， 以获得感受野自适应特征图； 将 感受野自适应特征图输入检测头获得绝缘子缺陷检测 边界框的类别预测结果和 边框回归 预测结果。 6.根据权利要求5所述的感受野自适应的变电站绝缘子缺陷检测神经网络构建方法， 其特征在于， 步骤3中， 基于ResNest残差模块的主干网络包括N层ResNest残差模块， 各残差模块之 间包括直接连接路径和间接连接路径； 其中， 直接连接路径对上一级残差模块输出 的特征 不作处理， 直接输入至本级残差模块； 间接连接路径对上一级残差模块输出 的特征进行循 环卷积运算， 将卷积运算获得的特征残差输入至本级残差模块； 主干网络的最终输出是直 接连接路径传输的特 征与间接连接路径传输的特 征残差之和。 7.根据权利要求6所述的感受野自适应的变电站绝缘子缺陷检测神经网络构建方法， 其特征在于， 主干网络包括3 3层ResNest 残差模块； 由第7层残差模块输出第一特征图； 由第30层残差模块输出第二特征图； 由第33层的残 差模块输出第三特 征图。 8.根据权利要求7所述的感受野自适应的变电站绝缘子缺陷检测神经网络构建方法， 其特征在于， 第一特征图的分辨率为40 ×40×512， 第二特征图的分辨率为20 ×20×1024， 第三特征 图的分辨 率为10×10×2048。 9.根据权利要求8所述的感受野自适应的变电站绝缘子缺陷检测神经网络构建方法， 其特征在于， 步骤3的FPN网络中， 以如下关系式对各 特征图进行通道拼接： 权　利　要　求　书 2/4 页 3 CN 114419413 A 3