(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210886502.3 (22)申请日 2022.07.26 (71)申请人 广东电网有限责任公司广州供电局 地址 510620 广东省广州市天河区天河南 二路2号 (72)发明人 林静　曲烽瑞　陈旭　贲成　林杰　 江少镇　卞佳音　徐宇翔　卢海　 刘爽　林凯　徐研　胡燃　陈加宝　 曾杰中　曾志武　屈恩来　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01)G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于X射线图像的耐张线夹压接缺陷判断方 法 (57)摘要 本发明公开了一种基于X射线图像的耐张线 夹压接缺陷判断方法， 包括： 获取耐 张线夹的X射 线图像； 将X射线 图像通过改进的实例分割目标 检测算法Mask  R‑CNN将缺陷部分用目标检测框 和掩膜标出， 其中， 该实例分割目标检测算法 Mask R‑CNN改进的地方有： 采用图像随机旋转进 行数据扩充， 采用k ‑means算法优化网络的 anchor尺寸大小， 采用FPN网络获取不同尺度的 特征图、 采用RoI  Align得到候选的特征图、 以及 三个级联的R ‑CNN网络作为检测网络头部， 使其 变成Cascade  R‑CNN； 再对掩膜与目标检测框进 行缺陷的判断。 本发明可有效快速地识别并判断 耐张线夹的缺陷， 以达到能够替代人工识别判断 的效果。 权利要求书3页 说明书8页 附图2页 CN 115115618 A 2022.09.27 CN 115115618 A 1.基于X射线图像的耐张线夹 压接缺陷判断方法， 其特 征在于， 包括： 获取耐张线夹的X射线图像； 将X射线图像通过预训练和测试后最优的改进的实例分割目标检测算法Mask  R‑CNN， 将原始图像中钢锚与导线钢芯压接部分和铝管与导线压接部分用掩膜和目标检测框标出； 其中， 该改进的实例分割目标检测算法Mask  R‑CNN改进的地方有： 采用将图片旋转固定范 围内的任意角度进行图像数据集的扩充， 采用k ‑means算法优化网络的anchor尺 寸大小， 采 用FPN网络获取不同尺度的特征图以及三个级联的R ‑CNN网络作为检测网络头部， 使其变成 Cascade R‑CNN； 对掩膜与目标检测框进行缺陷的判断； 其中， 缺陷的判断包括通过钢锚与导线钢芯压 接部分的掩膜与目标检测框以及铝管与导线压接部 分的掩膜与目标检测框， 获取钢锚与导 线钢芯压接部分的钢锚直径d， 获取钢锚与导线钢芯压接部分的目标检测框和铝管与导线 压接部分 的目标检测 框的距离l， 通过d:l的值来判断是否缺陷， 当d:l的值大于1时为不存 在缺陷， 当小于1时存在缺陷。 2.根据权利要求1所述的基于X射线图像的耐张线夹压接缺陷判断方法， 其特征在于， 改进的实例分割目标检测算法Mask  R‑CNN的结构包括5个主要部分： ResNet骨干网络、 FPN 网络、 区域建议网络 头部rpn_head、 检测网络 头部bbox_head和掩膜分支mask_head； 通过改进的实例分割目标检测算法Mask  R‑CNN将钢锚与导线钢芯压接部分和铝管与 导线压接部分用掩膜和目标检测框 框出， 包括以下 过程： 将X射线图像输入ResNet骨干网络， 生成多个分辨 率不同的特 征图； 将多个分辨率不同的特征图输入FPN网络， 进行特征融合处理， 输出多个不同尺度的特 征图层； 将多个不同尺度的特 征图层输入区域建议网络 头部rpn_head， 生成多个区域 候选框； 将多个区域候选框输入检测网络头部bbox_head与掩膜分支mask_head， 输出目标检测 框和掩膜。 3.根据权利要求2所述的基于X射线图像的耐张线夹压接缺陷判断方法， 其特征在于， 所述ResNet骨干网络共有5个阶段， 第一阶段记作C1， 其输出为320 ×256×64， 第二个阶段 记作C2， 其输出为160 ×128×256， 第三阶段记作C3， 其输出为80 ×64×512， 第四阶段记作 C4， 其输出为40 ×32×1024， 第五阶段记作C5， 其输出为20 ×16×2048； 将X射线图片输入到 ResNet骨干网络， 一共获得5个分辨 率不同的特 征图， 按顺序记作C1 ‑C5。 4.根据权利要求2所述的基于X射线图像的耐张线夹压接缺陷判断方法， 其特征在于， 所述FPN网络用于进 行特征图的特征融合， 其结构自顶向下的过程采用上采样进 行， 而横向 连接则是将上采样的结果和自底向上生成的相同大小的特征图进 行融合， 融合之后接着采 用3×3的卷积对每个融合结果进行卷积， 目的是消除上采样的混叠效应， FPN网络输出5个 不同尺度的特 征图层。 5.根据权利要求2所述的基于X射线图像的耐张线夹压接缺陷判断方法， 其特征在于， 所述区域建议网络 头部rpn_head使用Ro IAlign生成候选 框， 包括： 在FPN网络输出的每个不同尺度的特征图层， 分别定义大小为4 ×4、 8×8、 16×16、 32× 32、 64×64的锚框， 用anchor表示， 使用k ‑means聚类方法， 优化每个特征图层的长宽比参 数， 使每个特征图层都有3种长宽比： 1:2、 1:1、 3:1， 所以整个特征金字塔有15种规格的权　利　要　求　书 1/3 页 2 CN 115115618 A 2anchor； 前景类候选框的定义为anchor与ground  truth的IoU大于0.7的anchor； 区域建议 网络 头部rpn_head结构分为两个分支， 一个分支是通过softmax方法对所有的anchor框进行二 分类来区分前景和背景， 另一个分支是对anchor框进行坐标参数的回归， 以获得精确的候 选框； 将候选框按照前景置信度从高到低排序， 选取前2000个放到一起， 接着对这些候选框 做阈值为0.7的非极大值抑制， 只留下 前1000个候选框输入到后续的网络； 得到候选框之后接着使用RoI  Align代替原本的RoI  Pooling， 相比ROI  Pooling， ROIAlign能保证候选框与提取出的特征之间的对齐性， 从而大大提升了精度； 将不同大小 的候选框映射 成固定的7 ×7特征矩阵， RoIAlign得到的7 ×7个候选框特征分别输入到的检 测网络头部bbox_head和掩膜分支mask_head。 6.根据权利要求2所述的基于X射线图像的耐张线夹压接缺陷判断方法， 其特征在于， 所述检测网络 头部bbox_head和掩膜分支mask_head进行目标检测框和掩膜的输出， 包括： 检测网络头部bbox_he ad采用三个级联的R ‑CNN， 三个级联R ‑CNN的IoU分别设置为0.5、 0.6、 0.7， 用前面R ‑CNN输出的候选框去训练下一个R ‑CNN， 从而得到更高精度的目标检测框 以及更高准确率的类别判断； 掩膜分支mask_head将候选框特征反卷积， 扩大到28 ×28大小的特征图， 根据检测网络 头部bbox_head输出候选框特征的类别去选择掩膜分支mask_head的特征图， 特征图的每个 点代表该点位置是该类别掩膜的概率， 使用双线性插值将该特征图扩大到检测网络头部 bbox_head所获得的目标检测框， 从而获得掩膜。 7.根据权利要求1所述的基于X射线图像的耐张线夹压接缺陷判断方法， 其特征在于， 对掩膜与目标检测框进行缺陷的判断， 具体如下： 通过改进的实例分割目标检测算法Mask  R‑CNN输出的钢锚与导线钢芯压接部分和钢 锚与导线钢芯压接部 分的掩膜与目标检测框， 获取钢锚与导线钢芯压接部 分的钢锚直径d， 获取钢锚与导线钢芯压 接部分和铝管与导线压 接部分的距离， 具体如下 所示： 根据钢锚与导线钢芯压接部分的掩膜， 将输出的目标检测框进行二值化， 得到二值图 像， 二值化的方法是掩膜区域的像素设定为255， 其它的像素设定为0， 根据二值图像计算图 像的一阶矩， 获取掩膜的中心点P1坐标(x1,y1)， 具体如下 所示： F(i,j)表示为图像单通道情况的坐标为(i,j)的像素的灰度 值， i,j分别表示图像横纵 坐标的范围， 分别计算图像的0阶矩M00和1阶矩M01、 M10。 由所获得的0阶矩M00和1阶矩M01、 M10能够计算得到掩膜的中心点P1坐标(x1,y1)， 具体如 下所示：权　利　要　求　书 2/3 页 3 CN 115115618 A 3