(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211118423.4 (22)申请日 2022.09.14 (71)申请人 中国人民解 放军空军工程大 学 地址 710051 陕西省西安市灞桥区长乐 东 路甲字1号 (72)发明人 魏小龙　徐浩军　何卫锋　武欣　 李才智　裴彬彬　冯志玺　 (51)Int.Cl. G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01S 13/89(2006.01) G01S 7/40(2006.01) (54)发明名称 局部雷达散射成像诊断设备辅助快速视觉 定位方法及系统 (57)摘要 公开一种局部雷达散射成像诊断设备辅助 快速视觉定位系统， 其特征在于， 该系统包括局 部雷达散射成像诊断设备、 摄像头模块、 特征提 取检测模块、 定位判断模块以及显示器模块。 还 提供一种局部雷达散射成像诊断设备辅助快速 视觉定位方法， 该方法通过深度学习网络提取基 准位置经由摄像头拍摄的基准位置图像和当前 位置图像的标记点特征， 得到用于匹配标定的视 觉定位点， 通过对当前视觉定位点与基准定位点 进行比对， 不断调整移动局部雷达散射成像诊断 设备， 使当前测量位置恢复到基准位置， 从而保 证测量的一致性， 由此 实现基于人工智能的局部 雷达散射成像诊断设备辅助快速 视觉定位。 权利要求书4页 说明书10页 附图3页 CN 115330875 A 2022.11.11 CN 115330875 A 1.一种局部雷达散射成像诊断设备辅助快速视觉定位系统， 其特征在于， 该系统包括 局部雷达散射成像诊断设备、 摄像头模块、 特征提取检测模块、 定位判断模块以及显示器模 块； 其中 局部雷达散射成像诊断设备， 其采用平面近场扫描架型雷达散射成像诊断设备， 获得 被测目标在某一角域内的雷达散射图像， 进而根据散射图像判定被测目标的强散射区域分 布； 局部雷达 散射成像诊断设备和被测目标保持相对固定的位置； 摄像头模块， 其布置在局部雷达散射成像诊断设备上的一个固定位置， 用于对被测目 标拍照， 采集被测目标的视 觉图像并输出 给特征提取检测模块； 特征提取检测模块， 其采用YOLOv5s检测模型， 采用特征提取网络CSPDarknet53提取从 摄像头模块接收到的图像的特征， 其接收摄像头模块输出的被测目标位置的视觉图像信 息， 实时提取摄像头模块所采集图像中的视觉定位参考部位的第二轮廓线以及第二关键点 信息， 指导移动调节局部雷达 散射成像诊断设备位置与姿态； 定位判断模块， 其实时接收特征提取检测模块输出的第二轮廓线以及第二关键点信 息， 根据第一轮廓线和第一关键点信息判断设备是否已经到达基准位置， 达到即完成定位 匹配； 显示器模块， 其接收来自定位判断模块的定位匹配信息， 实时显示摄像头模块采集图 像中被测目标的参考部位的第二轮廓线和 第二关键点， 以及被测目标 处于基准位置时的参 考部位的第一轮廓线和第一关键点， 此外， 显示器模块还显示被测目标位于基准位置时的 视觉图像和定位匹配结果。 2.如权利要求1所述的局部雷达散射成像诊断设备辅助快速视觉定位系统， 其特征在 于， 将摄像头模块固定在 减震机柜前部、 将显示器模块安装在 减震机柜上部、 在工控机内集 成特征提取检测模块和定位判断模块； 在局部雷达散射成像诊断设备 的最佳诊断位置， 拍 摄被测目标的光学图像， 并将其作为基准 位置图像。 3.一种局部雷达散射成像诊断设备辅助 快速视觉定位方法， 该方法基于权利要求1或2 所述的局部雷达散射成像诊断设备辅助快速视觉定位系统， 其特征在于， 具体包括下列步 骤： S1、 在局部雷达散射成像诊断设备上某一固定位置， 固定摄像头模块， 用于获得光学图 像； 使用显示器模块实时显示摄 像头拍摄到的画面； S2、 根据测量局部雷达散射图像对局部雷达散射成像诊断设备与被测目标的相对位置 的要求， 确定被测目标相对于局部雷达散射成像诊断设备 的基准位置， 人工移动局部雷达 散射成像诊断设备至基准位置， 使用搭载的摄像头对被测目标进行拍照， 获得被测目标 的 基准位置图像； S3、 对被测目标的基准位置图像进行视觉观察分析， 将具有明确轮廓的部位确定为视 觉定位匹配的参考部位， 并将 轮廓边缘标记为第一轮廓线， 将第一轮廓线标记 为第一颜色； 通过第一轮廓线的外接矩形框计算获得参考部位的中心点， 也就是第一关键点； 外接矩形 框的四条边分别与图像的四条边平行， 并且与第一轮廓线相切， 第一关键点的坐标通过下 式计算， 将第一关键点标记为第一颜色； 将第一轮廓线和第一关键点固定 显示在显示器上；权　利　要　求　书 1/4 页 2 CN 115330875 A 2其中， (x， y)为第一关键点的坐标， (xmin， ymin)为外接矩形框左上角坐标， (xmax， ymax)为 外接矩形框右下角坐标； S4、 通过前后左右移动、 转动局部雷达散射成像诊断设备的方式， 改变摄像头模块相对 于被测目标的位置， 采集被测目标不同角度和不同距离的视觉图像； 采集过程中， 需保证视 觉定位的参 考部位始终位于摄 像头拍摄范围内； S5、 针对摄像头模块采集到的被测目标的光学图像数据集， 训练PSPNet语义分割模型 和YOLOv5s目标检测模 型， 在模型训练过程中采用Adam优化算法优化模 型， 学习率调节方法 采用的是模拟余弦退火调节学习率的方法； 训练得到的PSPNet语义分割最优模型能够检测 被测目标的参考部位的轮廓线， 即第二轮廓线， 将第二轮廓线标记 为第二颜色， 第二颜色不 同于第一颜色； 训练得到的YOLOv5s目标检测最优模型能够检测 被测目标的参考部位的中 心点， 即第二关键点， 将第二关键点标记为第二颜色； 并将第二轮廓线和 第二关键点显示在 显示器上； S6、 打开摄像头模块， 同时移动局部雷达散射成像诊断设备至被测目标的基准测量位 置附近， 观察显示器模块， 当显示器模块上出现视觉定位参考部位的完整的第二轮廓线时， 观察显示器模块上 的第一轮廓线， 移动调整局部雷达散射成像诊断设备， 在显示器模块中 第二轮廓线与第一轮廓线基本重合后， 通过第二轮廓线包围区域和第一轮廓线包围区域的 交并比IoU来判定当前位置与基准位置是否基本匹配， 当IoU 大于数值A时， 判定为当前位置 与基准位置基本匹配； 然后微调局部雷达散射成像诊断设备， 通过计算第二关键点和第一 关键点的欧式距离， 判断当前位置与基准位置是否准确匹配， 当三对关键点之间的欧式距 离均小于规定值时， 判定为 位置精确匹配， 屏幕自动提 示定位匹配， 完成精确定位。 4.如权利要求3所述的局部雷达散射成像诊断设备辅助快速视觉定位方法， 其特征在 于， PSPNet语义分割网络由骨干网络、 加强特征提取结构以及头部网络组成， 输入的图像首 先经过骨干网络初步提取特征获得特征图， 然后经过加强特征提取结构进一步聚合特征， 丰富特征信息， 提高特征图表示全局信息的能力， 最后通过头部网络对特征进行整合上采 样实现图像的语义分割。 5.如权利要求4所述的局部雷达散射成像诊断设备辅助快速视觉定位方法， 其特征在 于， 选用MobileNetV2作为PSPNet的骨干网络， 将普通的卷积用深度可分离卷积来替代； 在 反向残差中， 首先利用尺寸为1 ×1的卷积对输入的图像特征数据进行升维， 之后利用尺寸 为3×3 的深度可分离卷积进一步提取图像特征数据的相关特征， 最后利用尺寸为1 ×1的 卷积对提取到的特 征进行降维操作。 6.如权利要求3所述的局部雷达散射成像诊断设备辅助快速视觉定位方法， 其特征在 于， YOLOv5s模型的骨干网络采用CSPDarknet 53网络， CSPDarknet53由6个模块组成， 分别是 3个“卷积层‑批归一化层 ‑激活函数层 ”模块和3个残差模块组成CSPDarknet53网络， “卷积 层‑批归一化层 ‑激活函数层 ”模块由一个3 ×3的卷积层、 一个批归一化层和一个LeakyReLU 激活函数层组成， 其中前两个 ”卷积层‑批归一化层 ‑激活函数层 ”模块中的卷积层的步长为 2， 通过卷基层中的卷积核在图像上的滑动对图像进行 下采样。 7.如权利要求3所述的局部雷达散射成像诊断设备辅助快速视觉定位方法， 其特征在权　利　要　求　书 2/4 页 3 CN 115330875 A 3