(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211546124.0 (22)申请日 2022.12.05 (71)申请人 南京天创电子技 术有限公司 地址 210012 江苏省南京市雨 花台区安德 门大街23号金地威新雨花创新中心B 幢八层 (72)发明人 闵济海　洪石林　刘爽　 (74)专利代理 机构 南京华恒专利代理事务所 (普通合伙) 32335 专利代理师 裴素艳 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06T 7/30(2017.01) G06T 5/00(2006.01) (54)发明名称 一种列车车下设备紧固螺栓的缺失检测方 法和系统 (57)摘要 本发明的一种列车车下设备紧固螺栓的缺 失检测方法和系统， 直接在预设参考图像与待检 测图像使用种子模式的图神经网络进行特征点 提取与特征匹配， 实现检测参考点的准确提取， 保证透视变换得到校正图像的正确性， 同时把检 测螺栓缺失转换为检测正常螺栓， 解决了缺失螺 栓样本难以获取的问题； 感兴趣区域突出了前景 有效特征， 排除了背景干扰， 提高了列车底部图 像分割与螺栓识别精度， 最终实现提高螺栓缺失 检测结果的准确性的目标。 针对列车底部螺栓缺 失识别环 境由于污染、 光照等导致的待检测图像 与原图差异大的场景能够提取更多特征点， 巡检 机器人可实现对任意点位任意区域的识别， 结构 化输出螺栓缺失信息， 具有很强的实用性和广泛 的适用性。 权利要求书1页 说明书8页 附图4页 CN 115546223 A 2022.12.30 CN 115546223 A 1.一种列车 车下设备紧 固螺栓的缺失检测方法， 其特 征在于， 包括以下步骤： S1、 获取待测设备同一部位的螺 栓对应的待检测图像与预设参 考图像； S2、 将待检测图像与预设参考图像进行图像配准， 利用透视变换对待检测图像进行校 正得到校正图像； S3、 采用图像分割模型识别校正图像中的螺 栓位置； S4、 基于预设参考图像分割掩码图中的螺栓位置信 息， 与校正图像 中的螺栓位置信息， 确认待检测螺 栓点位的螺栓的缺失结果。 2.根据权利要求1所述的检测方法， 其特征在于， 采用定点巡检拍摄方式获取待测设备 不同部位的螺 栓对应的待检测图像与预设参 考图像。 3.根据权利 要求1所述的检测方法， 其特征在于， 所述步骤S2中的图像配准采用SGMNet 算法。 4.根据权利要求1所述的检测方法， 其特征在于， 所述步骤S3中的图像分割模型包括 SegNeXt模型。 5.根据权利要求1所述的检测方法， 其特征在于， 所述步骤S4中螺栓的缺失确认， 包括 以下步骤： A1、 计算预设参 考图分割掩码图中每 个螺栓位置的外 接矩形； A2、 遍历所有外 接矩形区域， 预设参 考图像与待检测图像的每 个外接矩形的I oU得分； A3、 当IoU小于指定阈值时， 判定该位置 螺栓缺失。 6.根据权利要求1所述的检测方法， 其特征在于， 所述步骤S1中的预设参考图像为螺栓 的正面视角图。 7.适用于权利要求1 ‑6任一项所述的检测方法的检测系统， 其特征在于， 包括巡检机器 人单元、 图像校正单 元、 图像分割单 元、 和比较单 元； 所述巡检机器人用于采用定点巡检拍摄方式获取待测设备不同部位的螺栓对应的待 检测图像与预设参 考图像， 并输向图像校正单 元； 所述图像校正单元用于将待检测图像与 预设参考图像进行图像配准， 并对待检测图像 进行校正， 得到校正图像； 所述图像分割单元用于识别待检测图像与预设参考图像的分割掩码图中的螺栓位置 信息； 所述比较单元用于通过待检测图像与预设参考图像的分割 掩码图中的螺栓位置信 息， 确认待检测螺 栓点位的螺栓缺失结果。 8.根据权利要求7所述的检测系统， 其特征在于， 所述巡检机器人单元还配有螺栓信 息 库： 包括与预设参 考图像对应的设备信息； 基于螺栓缺失结果， 巡检机器人 单元输出缺失螺 栓的设备信息 。 9.根据权利要求8所述的检测系统， 其特征在于， 所述巡检机器人单元输出待检测图像 中螺栓的缺失信息 。权　利　要　求　书 1/1 页 2 CN 115546223 A 2一种列车 车下设备紧固螺栓的缺失检测方 法和系统 技术领域 [0001]本发明涉及 一种紧固螺栓的缺失检测方法， 具体涉及一种列车车下设备紧固螺栓 的缺失检测方法和系统。 背景技术 [0002]螺栓作为一种常见的机械零部件， 被广泛应用在日常生活和工业生产制造中， 如 汽车制造、 轨道交通、 航空航天等， 螺栓的健康状态对设备正常、 安全的运行有着非常重要 的意义。 [0003]轨道交通行业作为国家和社会经济发展、 日常出行的命脉， 其安全性不可忽略。 为 保证地铁的安全运行， 工作人员需要定时对其进行各项状态检查， 其中一项就是检查螺栓 是否缺失。 但由于列车的复杂性， 单节列车的紧固螺栓数量通常就可以达到几百个， 再加上 轨道交通行业对列车检修的严格性， 故螺 栓缺失的检测是一件极其繁 重的工作。 [0004]传统通过人工进行螺栓缺失检测的方式消耗的时间成本和人工成本极高， 同时重 复性的工作和复杂的车下环境， 易使检修人员产生视觉疲劳， 导致错检、 漏检， 对于检测包 含大量螺 栓的连接结构无论经济性还是 可靠性上都偏低。 [0005]近年来， 随着人工智能技术的不断发展， 基于计算机视觉 的结构健康检测方法受 到了学术界和工业界的广泛关注， 以轨道交通为例， 列车底部螺栓缺陷是常见的器件缺陷， 现有的钢结构螺栓缺失检测方法主要的通过传统机器学习或深度学习等方法训练一个基 于损伤图像和正常图像的分类模型或目标检测模型， 从而应用该模型检测采集的图像区域 是否存在螺 栓丢失的缺陷情况。 [0006]尽管巡检机器人在轨道交通线路中的缺陷检修已经得到了一些应用， 但在轨道交 通场景中针对列车底部 螺栓缺陷识别仍存在以下困难。 [0007]当前深度学习的目标检测模型的训练需要大量的螺栓缺失的缺陷样本， 然而轨道 交通中螺栓缺失的图像并不好收集， 同时缺失的状态多种多样， 难以获取充足的螺栓缺失 图像样本， 因此训练出 的目标检测模型精度较低， 且现有采集螺栓连接图像时包含背景信 息， 影响了检测结果的准确度。 [0008]其次现有方法螺栓缺失区域一般采集深度学习目标检测方法获取， 首先目标检测 数据集收集与制作较难， 现场环境干扰目标检测鲁棒性较低， 同时该方法只能识别特定区 域， 针对新增设备需要重新采集数据集进一 步训练， 功能部署受限。 [0009]同时列车底部设备拍摄易受光照、 油渍、 灰尘等环境干扰变化呈现不同拍摄效果， 而且机器人导航和云台存在一定定位误差， 巡检机器人的参考图与巡检图基于SIFT、 SURF、 ORB等特征的匹配算法， 无法在列车底部任意 点位得到正确的变换矩阵。 [0010]因此， 需要一种新的适用于列车 车下设备紧 固螺栓的缺失检测方法和系统。 发明内容 [0011]为解决现有技术的不足， 本发明的目的在于提供一种列车车下设备紧固螺栓的缺说　明　书 1/8 页 3 CN 115546223 A 3