(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210492098.1 (22)申请日 2022.05.07 (71)申请人 中国计量大 学 地址 310018 浙江省杭州市下沙高教园区 学源街258号 申请人 杭州爱华智能科技有限公司 (72)发明人 章东平　钟梓尹　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 陈洁 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/00(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06K 9/62(2022.01) G10L 25/24(2013.01) G10L 25/30(2013.01) G10L 25/51(2013.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) (54)发明名称 一种基于噪声和图像信息融合的轨道异常 情况检测方法 (57)摘要 本发明属于音 频处理技术领域， 公开了一种 基于噪声和图像信息融合的轨道异常情况检测 方法， 使用相机和声音传感器获取图像信息和音 频信号， 这样更有利于推动系统对于轨道异常情 况更准确的判断。 并将轨道异常情况检测与定位 结合， 对存在异常情况的轨道进行定位， 并上传 至轨道健康管理平台， 后续需及时派遣相关人员 进行维修与记录， 并最终交与专家评审此次维修 是否完成。 权利要求书2页 说明书5页 附图3页 CN 114841966 A 2022.08.02 CN 114841966 A 1.一种基于噪声和图像信息融合的轨道异常情况检测方法， 其特征在于， 包括如下步 骤： 步骤1： 在火车底部安装一个普通相机与声音传感器， 普通相机获取火车运动时的轨道 图像， 声音传感器获取火车运动时轨道发出的音频信号， 并对其进 行预处理， 将音 频信号与 图像进行多信息融合， 并采用轨道故障检测和分级网络进行实时识别与判断轨道磨损程 度， 分为： 完好、 轻微瑕疵、 瑕疵严重三个程度； 步骤2： 若为轻微瑕疵、 瑕疵严重， 采用GPS与铁轨特征分析结合的方法对轨道故障进行 实时定位， 并上传至 轨道健康管理平台， 进行时域图像匹配， 得到时间序列排列图像组； 步骤3： 在轨道健康管理平台中得出轨道修前评估报告， 通过双评机制得出维修建议， 进行判断是否应该维修， 若不需要维修则进行结案、 存档； 若需要维修， 则 派遣相关部门和 人员， 并记录 派遣时间和执行人员； 维修好之后得出修后评估报告， 交与 专家进行评审该次 维修是否完成， 若完成则进行结案、 存档； 若还存在问题， 则重新进行步骤3， 直至专家评审 该次维修已完成。 2.根据权利要求1所述的基于噪声和图像信息融合的轨道异常情况检测方法， 其特征 在于， 步骤1中音频信号预处 理包括如下步骤： 步骤1.1.1： 对声音传感器获取的.wav格式的音频文件使用python中的scipy库和 numpy库， 得到该声 音文件的信号数组与采样频率； 步骤1.1.2预加重： 将音频信号 通过一个高通滤波器， H(Z)＝1‑μz‑1 其中 μ 的值取0.95； 步骤1.1.3分帧、 加窗： 选择汉明窗， 进行帧移， 分帧的时候在帧与帧之间重叠一部分， 取值为0到1/2之间； 步骤1.1.4： 再通过离 散傅里叶变化得到能量谱图； 步骤1.1.5： Mel滤波器组： Mel频率与实际频率的具体关系为如下： Mel(f)＝2595 *log10(1+f/700) 将能量谱图通过一组Mel尺度的三角形滤波器组， 定义一个有M个滤波器的滤波器组， 采用的滤波器为三角滤波器， M取26， 并计算通过每个滤波器的信号的能量， 之后再对26个 能量取对数， 得到对数 ‑梅尔谱图。 3.根据权利要求1所述的基于噪声和图像信息融合的轨道异常情况检测方法， 其特征 在于， 步骤1中轨道故障检测和分级网络进行实时识别与判断轨道磨损程度的具体步骤如 下： 步骤1.2.1： 数据准备： 对对数 ‑梅尔谱图、 轨道图像进行标注， 标注信息为轨道磨损情 况， 即ci＝0表示轨道未存在瑕疵， ci＝1表示轨道存在轻微瑕疵， ci＝2表示轨道存在严重瑕 疵， 将标注数据样本按照4∶ 1划分为训练集、 测试集； 步骤1.2.2： 轨道故障检测和分级网络结构： 轨道故障检测和分级网络结构包括输入、 卷积层、 池化层； 轨道故障检测和分级网络结构由7个卷积层、 3个池化层、 一个全连接层组成； 卷积层通 过卷积操作对输入图像进行降维和特征抽取， 通过卷积操作， 完成对输入图像的降维和特 征抽取， 并进行池化操作；权　利　要　求　书 1/2 页 2 CN 114841966 A 2步骤1.2.3： 轨道故障检测和分级网络模型训练： 对网络进行权值的初始化， 输入数据 经过卷积层、 池化层、 全连接层的向前传播得到输出值， 求出网络的输出值与目标值之 间的 误差， 将误差传回网络中， 根据误差进行权值更新； 步骤1.2.4： 轨道故障检测和分级网络模型使用： 将轨道图像、 对数 ‑梅尔谱图输入到训 练好的模型中， 网络 输出为该轨道磨损程度， 即ci。 4.根据权利要求1所述的基于噪声和图像信息融合的轨道异常情况检测方法， 其特征 在于， 步骤2采用GPS与铁轨特征分析结合的方法对轨道故障进行实时定位的具体步骤如 下： 步骤2.1.1： 数据准备： 从多个不同角度拍摄所有轨道图像， 并对轨道图像进行标注， 标 注内容为GPS值、 具体地 点； 将标注数据样本按照4∶ 1划分为训练集、 测试集； 步骤2.1.2： 轨道异常定位网络结构： 井盖定位检测网络结构包括输入端、 卷积神经网 络、 NetVLAD层、 输出层四个部分； 卷积神经网络采用VGG ‑16网络模型， VGGNet通过网络分段增加网络深度、 采用多层小 卷积代替 一层大卷积； 步骤2.1.3： 轨道 异常定位模型训练： 在训练数据集上进行训练， 进行四 次迭代； 步骤2.1.4： 轨道异常定位模型使用： 对存在异常情况的轨道图像， 即ci＝1、 ci＝2的图 像进行特征图像匹配， 得到匹配度最高的图像， 输出为该图像所表示的具体位置 。 5.根据权利要求1所述的基于噪声和图像信息融合的轨道异常情况检测方法， 其特征 在于， 步骤2中时域图像匹配方法包括如下步骤： 步骤2.2.1： 对输入图像进行直方图均衡化预处理， 增加图像的对比度和亮度， 使用 Shi‑Tomasi角点作为跟踪点， 再对一些不符合要求的角点进行剔除， 最终得到P1、 P2 …Pn这 n个角点检测结果； 步骤2.2.2： 使用LK光流算法跟踪输入图像的角点， 找到这些角点在数据库中浮动图像 上的对应位置， 对于每一个角点的追踪 结果， 包含一个数值， 该数值不为0则表 示追踪成功， 否则表示追踪失败， 将该点及其对应的追踪点剔除， 同时， 使用RA NSAC算法进一步剔除异常 匹配点； 步骤2.2.3： 追踪成功的角点数为A， 总角点数为 n,若 则认为数据库中该图像与输入图像有关， 根据图像的拍摄时间进行排序， 最终输出时 间序列排序图像组， 并存 储在轨道健康管理平台 中。 6.根据权利要求1所述的基于噪声和图像信息融合的轨道异常情况检测方法， 其特征 在于， 步骤3中双评 机制具体过程如下： 步骤3.1： 轨道图像上传至轨道健康管理平台后， 平台根据图像 中的瑕疵程度 得出修前 评估报告， 并给出维修建议， 若建议不维修， 则结案、 存档； 若建议维修， 则派遣相关部门与 人员及时进 行维修， 记录 派遣时间和执行人员； 维修完成后， 得出修后评估报告交与 专家评 审此次维修是否完成， 若已完成， 则结案、 存档； 若还未完成， 则重新进行步骤3.1， 直至专家 评定此次维修已完成。权　利　要　求　书 2/2 页 3 CN 114841966 A 3