(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210493562.9 (22)申请日 2022.05.07 (71)申请人 南京大学 地址 210093 江苏省南京市 鼓楼区汉口路 22号 (72)发明人 任桐炜　武港山　孙楚豪　 (74)专利代理 机构 南京天翼专利代理有限责任 公司 321 12 专利代理师 奚铭 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种雷达射频图像目标检测方法 (57)摘要 本发明公开了一种雷达射频图像目标检测 方法,针对雷达信号， 首先进行预处理得到射频 图像， 然后进行特征增强， 之后构建卷积神经网 络和Transformer结合的模型， 进行训练， 最后经 过基于热图的非极大值抑制算法得到目标检测 结果。 本发明使用卷积神经网络和Transformer 结合的方法， 可以对雷达射频图像的局部特征和 全局特征进行提取， 并能取得很好的效果。 权利要求书2页 说明书5页 附图3页 CN 114842196 A 2022.08.02 CN 114842196 A 1.一种雷达射频图像目标检测方法， 其特征是使用神经网络对雷达射频图像进行目标 检测， 使用卷积神经网络和Transformer结合的方式提取雷达射频图像的局部和全局特征， 并且对结果进行基于热图预测的非极大值抑制方法得到目标检测结果， 包括以下步骤： 1)对雷达 接收的频率信号进行 预处理得到距离 ‑角度的雷达射频图像； 2)对雷达射频图像进行 特征增强处 理； 3)构建用于雷达射频 图像目标检测的卷积神经网络和Transformer结合的模型， 包括 编码器模块、 Transformer模块和解码器模块： 3.1)编码器模块， 由3个9 ×5×5的3D卷积层和3个多尺度卷积模块组成； 3.2)Transformer模块， 共有6层编码层， 每层编码层包括多头自注意力机制和多层感 知机两个子层， 每个多头注意力机制层包括维度为D的三个向量： Q、 K、 V， 通过计算Q、 K的点 积并除以尺度系数 得到Q、 K对应的权重信息， 使用soft max对权重函数进行归一化并对 V进行加权求和， 得到注意力值， 其中， 注意力算法采用 实现； 3.3)解码器模块， 由3个3 ×6×6的转置卷积层和1个9 ×5×5的卷积层组成， 其中包含 三个跳跃 连接结构； 4)设置起始训练参数， 所述起始训练参数包括学习率、 迭代次数、 峰值阈值和目标相似 度阈值； 5)训练所述卷积神经网络和Transformer结合的模型， 将训练得到的检测器用于目标 检测， 并采用基于热图预测的非极大值抑制算法对重复预测的目标进行去重； 6)在验证集和测试集上计算目标检测 的准确率和召回率是否满足检测要求， 若不满 足， 则设置新的初始化参数重新训练所述卷积神经网络和Transformer结合的模 型， 直至满 足检测要求。 2.根据权利要求1所述的一种雷达射频图像目标检测方法， 其特征在于， 步骤1)具体包 括： 1.1)对雷达信号进行距离快速傅里叶变换； 1.2)对经 过1.1)处 理的雷达信号进行距离估计； 1.3)对1.2)处 理的结果使用低通滤波器去除高频噪声； 1.4)对1.3)处 理后的信号进行角度快速傅里叶变换； 1.5)对1.4)选出毫米波雷达信号中 的chirp频率为0， 64， 128， 192的部分， 形成一帧4个 chirp的雷达射频图像数据。 3.根据权利要求1所述的一种雷达射频图像目标检测方法， 其特征在于， 步骤2)对雷达 射频图像进 行特征增强处理， 具体实现为： 由一层距离 ‑角度卷积层和一层时序卷积层组成 卷积部分， 并通过一层时序最大池化层， 对多个c hirp的雷达射频图像进行简化。 4.根据权利要求1所述的一种雷达射频图像目标检测方法， 其特征在于， 步骤4)中设置 的起始训练参数， 具体包括： 设置60个epochs； batchsize设置为32； 使用Adam优化器， 其中 初始学习率为0.001， beta1为0.9， beta2为0.999。 使用的train ‑step为1， train ‑stride为 4。 5.根据权利要求1所述的一种雷达射频图像目标检测方法， 其特征在于， 步骤5)训练所权　利　要　求　书 1/2 页 2 CN 114842196 A 2述卷积神经网络和Transformer结合的模型中， 目标回归的损失函数为： 其中， l为最终loss， D代表真实标注的置信图， 代表像素索引， cls代表类别标签， (i, j)代表像素索引。 6.根据权利要求1所述的一种雷达射频图像目标检测方法， 其特征在于， 在步骤5)采用 基于热图预测的非极大值抑制算法对冗余目标进行去重， 计算方法如下： 输入经过置信度阈值筛选的模型目标检测结果图， 对当前帧的目标检测结果， 记录目 标点坐标及置信度， 并且将点放于集合P中， 选出集合P中置信度最高的峰值点p， 并将其从 集合P中去掉， 加入到集合P*中， 计算该点p*与其余点pi的相似度S， 与设置的相似度阈值进 行比较， 若高于阈值， 则从集合P中删掉点pi， 循环从P中选最高点 并重复以上过程， 直到P为 空， 保留P*中的目标点， 其中， 两个目标点的相似度S计算方式如下： S为两个目标点的相似度， L为两点间的实际距离， κcls针对每个类别都有一个数值， 指 该类的尺度大小。 7.根据权利要求1所述的一种雷达射频图像目标检测方法， 其特征在于， 在步骤6)中， 准确率定义为 召回率定义为 其中， NTP为真实目标被预测出来为真目标的 个数， NFP为假目标被预测成真目标的个数， NFN为真实目标被预测为 假目标的个数。权　利　要　求　书 2/2 页 3 CN 114842196 A 3