(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221079890 5.2 (22)申请日 2022.07.06 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区朝晖六 区潮王路18号 (72)发明人 朱威　初君　张津　何德峰　 郑雅羽　 (74)专利代理 机构 杭州赛科专利代理事务所 (普通合伙) 33230 专利代理师 宋飞燕 (51)Int.Cl. G01S 13/72(2006.01) G01S 13/86(2006.01) G01S 13/931(2020.01) G01S 7/40(2006.01)G06K 9/62(2022.01) G06V 10/80(2022.01) G06T 7/277(2017.01) G06T 7/80(2017.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) G06V 20/56(2022.01) (54)发明名称 一种融合毫米波雷达与单目相机的轻量级 目标跟踪方法 (57)摘要 本发明公开了一种融合毫米波雷达与单目 相机的轻量级目标跟踪 方法， 所述方法包括以下 步骤： 将毫米波雷达和单目相机进行联合标定； 以运动参数为过滤基准， 并通过欧几里德聚类算 法筛选毫米波雷达检测到的当前帧的点云数据 对单目相机采集当前图像并进行目标检测和车 道线检测， 并获取当前车道线内的目标点云数 据； 通过卡尔曼滤波进行目标稳定跟踪。 本发明 将聚类后的雷达数据点作为目标跟踪对象， 在初 始帧以及前方目标点的个数发生变化的情况下 引入视觉的检测结果观测出前方目标点所属类； 同时融合YOLOP网络对当前车道线的检测信息， 实现对同车道内的前方目标点的轻量级跟踪。 权利要求书1页 说明书5页 附图2页 CN 115166717 A 2022.10.11 CN 115166717 A 1.一种融合毫米波雷达与单目相机的轻量级目标跟踪方法， 其特征在于， 所述方法包 括以下步骤： 将毫米波雷达和单目相机进行 联合标定； 以运动参数为过滤基准， 并通过欧几里德聚类算法筛选毫米波雷达检测到的当前帧的 点云数据； 对单目相机采集当前图像并进行目标检测和车道线检测， 并获取当前车道线内的目标 点云数据； 通过卡尔曼 滤波进行目标 稳定跟踪。 2.如权利要求1所述的一种融合毫米波雷达与单目相机的轻量级目标跟踪方法， 其特 征在于， 所述联合标定包括以下步骤： 对单目相机进行 标定， 并得到世界坐标系和像素坐标系间的转换模型； 将毫米波雷达坐标系转换到世界坐标系； 同步毫米波雷达与单目相机的采样频率。 3.如权利要求1所述的一种融合毫米波雷达与单目相机的轻量级目标跟踪方法， 其特 征在于， 所述毫米波雷达检测到的点云数据包括若干扫描点信息， 任一扫描点信息包括位 置坐标(x， y)及相对速度v， 所述筛 选包括以下步骤： 计算每一扫描点的欧几里德距离D； 判断欧几里德距离D是否不大于经验阈值， 若是， 则保留， 否则丢弃。 4.如权利要求1所述的一种融合毫米波雷达与单目相机的轻量级目标跟踪方法， 其特 征在于， 对单目相机采集当前图像并进行目标检测 和车道线检测包括以下步骤： 通过训练后的YOLOP网络模型 得到目标类别和车道线语义分割图像； 对车道线语义分割图像使用密度聚类算法解析各车道线， 并提取出本车所在车道内的 两条车道线。 5.如权利要求4所述的一种融合毫米波雷达与单目相机的轻量级目标跟踪方法， 其特 征在于， 所述获取当前 车道线内的目标点云数据包括以下步骤： 将筛选后的点云数据、 提取的两条 车道线与当前图像进行 数据融合； 剔除非当前 车道线区域内的点云数据； 基于目标区域获取融合在当前图像中的目标点信息 。 6.如权利要求1 ‑5任一项所述的一种融合毫米波雷达与 单目相机的轻量级目标跟踪方 法， 其特征在于， 所述目标 稳定跟踪包括以下步骤： 前置判定步骤， 判断当前图像是否为初始图像， 若是， 为初始图像的目标点分配初始 ID， 并输出目标类别， 否则执 行一致性判定步骤； 一致性判定步骤， 判定当前图像的当前目标点个数与 上一帧图像的目标点个数是否相 同， 若是， 执 行相似度匹配步骤， 否则为当前目标点分配新的ID， 并输出目标类别； 相似度匹配， 通过卡尔曼滤波算法预测上一帧图像的目标点信息， 计算预测结果与当 前目标点信息的相 似度， 若相 似度大于阈值， 则ID不变， 并更新卡尔曼状态方程， 否则为当 前目标点分配新的ID， 并输出目标类别。权　利　要　求　书 1/1 页 2 CN 115166717 A 2一种融合毫米波 雷达与单 目相机的轻量级目标跟踪 方法 技术领域 [0001]本发明属于智能辅助驾驶领域， 具体来说涉及一种融合毫米波雷达与单目相机的 轻量级目标跟踪方法。 背景技术 [0002]随着传感器、 车联网以及人工智能等技术的迅速发展， 汽车智能化的升级和改造 逐渐成为降低事故发生率的重要途径。 特别的， 鉴于工程车盲区多、 制动差的特点， 提高碰 撞预警能力对降低工程车辆事故 发生率的重要性 不言而喻。 [0003]车辆通过各种传感器、 智能算法和车联网来实现对前方目标的实时感知和精确定 位， 从而为辅助驾驶甚至 自动驾驶提供安全决策。 目标检测和跟踪作为系统感知环境部分 的重要技术， 同时也是提高碰撞预警能力的重要手段； 而毫米波雷达和视觉相 机是组成目 标检测和跟踪技术中最常用的两种传感器。 毫米波 雷达环境适应性好， 穿透能力强， 能够准 确地探测到目标的速度、 方位、 距离等信息， 但是其受限于工作 原理， 存在探测噪声 大、 杂波 干扰数据过多以及无法获取目标 的几何和类别信息等问题。 视觉相 机的成本低， 能获取 的 数据信息量丰富， 被广泛用于目标的识别分类， 但存在易受光照、 天气等环境因素影响等问 题。 [0004]申请号为202110351803.1的专利公开了一种基于雷达信号和视觉融合的车辆检 测方法， 主要采用毫米波雷达与单目摄像头两种传感器， 融合在YOLOV3 ‑MobileNet神经网 络的基础上实现对 车辆检测， 并使用Deep ‑SORT跟踪算法实现对检测 后的车辆进行跟踪。 这 类方法主要采用Deep ‑SORT等基于深度学习的跟踪算法， 因为该类算法引入CNN提取被测目 标的表面特征， 因此增加网络对遗失和障碍的鲁棒性， 但是正是由于外观特征等的引入， 导 致其无法在算力有限地嵌入式设备上达到实时检测与跟踪的需求。 申请号为 201911095047.X的专利公开了一种基于单目视觉融合毫米波的ADAS前车碰撞预警方法， 主 要通过单目摄像头计算出前方车辆的实际距离并与毫米波雷达得到的距离信息进行融合 校正， 进而利用融合后的信息进 行预警提醒； 但是该方法仅 将两种传感器的融合用作测距， 而忽略了对同一车辆的实时跟踪问题。 发明内容 [0005]为了解决汽车在行驶过程中对同车道内的前方目标的实时跟踪问题， 本发明提出 了一种融合毫米波雷达与单目相机的轻量级目标跟踪方法。 [0006]为实现上述目的， 本发明提供技 术方案如下： [0007]一种融合毫米波雷达与单目相机的轻量级目标跟踪方法， 所述方法包括以下步 骤： 将毫米波 雷达和单目相机进 行联合标定； 以运动参数为过滤基准， 并通过欧几里德聚类 算法筛选毫米波 雷达检测到的当前帧的点云数据； 对单目相机采集当前图像并进 行目标检 测和车道线检测， 并获取当前车道线内的目标点云数据； 通过卡尔曼滤波进行目标稳定跟 踪。说　明　书 1/5 页 3 CN 115166717 A 3