(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210961296.8 (22)申请日 2022.08.11 (71)申请人 国网江苏省电力有限公司盐城供电 分公司 地址 224000 江苏省盐城市解 放南路189号 (72)发明人 戴云峰　王瀚　王鑫　刘安宏　 冯兴明　丁亚杰　成云朋　成先文　 陈文　杨帆　陈诚　骆伟伟　 (74)专利代理 机构 南京德吉成专利代理事务所 (普通合伙) 32665 专利代理师 马良涛 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06T 7/33(2017.01)G06T 7/73(2017.01) G06T 9/00(2006.01) G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 显著感知引导的电缆管道内部缺陷检测方 法 (57)摘要 本发明公开了一种显著感知引导的电缆管 道内部缺陷检测方法， 该方法的步骤包括： 首先 通过EDTER边缘检测算法提取可见光边缘图像， 并根据边缘显著信息优化深度图像得到深度优 化图像； 其次根据坐标变换关系对 可见光边缘图 像和深度优化图像进行配准； 然后根据电缆管道 内部边缘特征弱的特点， 使用基于RGB ‑D信息协 同的管道内部缺陷检测网络提取深度显著性特 征和边缘特征， 检测管道内部缺陷及其位置； 最 后根据缺陷的深度特征， 使用深度显著信息引导 的管道内部缺陷分类网络对缺陷检测结果进行 分类。 本发明提供了一种准确性高、 鲁棒性好的 电缆管道内部缺陷检测方法， 能够有效地提升电 缆管道内部缺陷检测的准确率和效率， 具有实际 应用价值。 权利要求书7页 说明书14页 附图3页 CN 115375639 A 2022.11.22 CN 115375639 A 1.一种显著感知引导的电缆管道内部缺陷检测方法， 其特征在于， 所述方法包括以下 步骤： 步骤1、 使用可见光相机和基于结构光的深度相机分别获取管道内部的可见光图像和 深度图像； 步骤2、 通过EDTER边 缘检测算法提取 可见光图像的边 缘信息， 得到可 见光边缘图像； 步骤3、 使用可 见光边缘图像对原 始的深度图像进行优化， 得到深度优化图像； 步骤4、 使用基于不同坐标系变换的配准算法， 对可见光边缘图像和深度优化图像配 准； 步骤5、 根据可见光边缘图像和深度优化图像检测管道内部缺陷， 输出检测结果的二值 图像； 步骤6、 根据缺陷检测结果， 使用深度显著信息引导的管道内部缺陷分类网络， 对缺陷 检测结果进行分类， 实现管道内部缺陷类别的正确判别。 2.根据权利要求1所述的显著感知引导的电缆管道内部缺陷检测方法， 其特征在于， 在 所述步骤2中， 通过EDTER边缘检测算法提取可见光图像的边缘信息， 得到可见光边缘图像 的具体流 程为： 步骤2.1、 对输入 的可见光图像IRGB进行全局上下文信息编码： 首先将输入图像分割成 一系列粗粒度图像序列， 并使用全局注意力编码器来学习全局上下文信息； 然后使用全局 双向多级聚合解码器， 生成全局特 征图； 步骤2.2、 对输入 的可见光图像IRGB进行局部上下文信息编码： 首先使用非重叠滑动窗 口对输入的图像进行采样， 将整个图像划分为多个细粒度图像块序列； 然后依 次在每个图 像块序列上执行一个局部注意力编 码器以捕获短程局部线索； 最后所有 特征输入到局部双 向多级聚合解码器， 生成局部特 征图； 步骤2.3、 全局特征图fg和局部特图征fl由特征融合模块FFM处理， 然后输入边缘预测网 络Lh以生成最终的边 缘图。 3.根据权利要求2所述的显著感知引导的电缆管道内部缺陷检测方法， 其特征在于， 在 所述步骤2.1中， 对可 见光图像IRGB进行全局上 下文信息编码的具体流 程为： 步骤2.1.1、 可见光图像IRGB的尺寸大小为H ×W， 通道数为3， 图像表示为IRGB∈RH×W×3； 首 先均匀地分割图像， 将输入的二维图像IRGB∈RH×W×3转换为一维图像块序列， 得到尺寸为16 ×16的粗粒度图像块序列； 然后通过线性投影方式， 将一维 图像块序列映射到潜在嵌入空 间， 并在每 个图像块中添加其对应于原图像的空间位置信息， 得到嵌入变量 步骤2.1.2、 将嵌入 变量 输入全局注意力编码器GE， 计算全局注意力信息， 计算表达式 为： 其中， 编码器GE输出的特征序列表示为 Lg为编码器GE 输出个数， 设置Lg＝24， C为特 征通道数； 步骤2.1.3、 将特征序列zg输入采用双向多级聚合的全局注意力解码器GD进行上采样处权　利　要　求　书 1/7 页 2 CN 115375639 A 2理， 得到高分辨率的特征； 解码器GD使用了双向特征聚合策略， 包括从高级特征融合低级特 征的自上而下路径和从低级特 征融合高级特 征的自下而上路径； 首先， 将特征序列 均分为四组， 取每组特征序列 的最后一个特征 作为解码器GD的输入； 通过卷积核大小为1 ×1的卷积层后， 特征图zg由二 维表达形式R 恢复为三维表达形式 通道数保持不变； 然后， 自上而下地聚合特征： 输入至卷积核大小为3 ×3的卷积层后， 与前 一组输入特征 相加后输入到对应路径的卷积层； 依次地聚合四组输入特征并输入到各 自的卷积层中， 得到四组中间特征结果 同样的， 自下而上地聚合特征得到 最后， 将中间特征结果输入至两组卷积核大小分别为4 ×4和16×16串联反卷积层， 提 高特征分辨率； 来自双向路径的八组中间特征结果拼接生成一个张量后， 输入由三个3 ×3 卷积层和一个1 ×1卷积层组成的堆栈， 得到像素级的全局特 征图fg， 表示为： 4.根据权利要求2所述的显著感知引导的电缆管道内部缺陷检测方法， 其特征在于， 在 所述步骤2.2中， 对输入的可 见光图像IRGB进行局部上 下文信息编码的具体流 程为： 步骤2.2.1、 通过使用非重叠滑动窗口对可见光图像IRGB∈RH×W×3进行采样， 滑动窗口大 小为 将图像IRGB分解为序列{I1,I2,I3,I4}； 将每个图像序列In,n＝1,2,3,4分解为 尺寸大小8 ×8的细粒度图像块序列； 然后通过线性投影的方式将图像映射至潜在嵌入空 间， 并同样地在每 个图像块中添加其对应于原图像的空间位置信息， 得到嵌入变量 步骤2.2.2、 将嵌入变量 输入局部注意力编码器LE， 计算局部注意力信息， 计算表达式 为： 其中， 编码器LE输出的特征序列表示为 Lr为编码器LE输 出个数， 设置Lr＝12， C为特 征通道数； 步骤2.2.3、 类似于全局注意力解码器GD， 在采用双向多级聚合的局部注意力解码器LD 中对特征序列进行 上采样处 理， 并将输出的高分辨 率特征序列合并； 首先， 将特征序列 平均分为四组， 并选取每组中的最后一个特征 作为解码器LD的输入； 通过卷积核大小为1 ×1的卷积层后， 特征图zl由二维权　利　要　求　书 2/7 页 3 CN 115375639 A 3