(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211114392.5 (22)申请日 2022.09.14 (71)申请人 西安电子科技大 学杭州研究院 地址 311231 浙江省杭州市萧 山区萧山经 济技术开发区钱农东路8号 (72)发明人 张学攀　翟阳　赵嘉懿　李虹　 (74)专利代理 机构 北京知艺互联知识产权代理 有限公司 16137 专利代理师 陈艳 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06T 7/33(2017.01) G06T 7/62(2017.01) G06V 20/58(2022.01)G06V 10/25(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01S 13/931(2020.01) G01S 13/86(2006.01) G01S 13/72(2006.01) (54)发明名称 基于多源异构信息融合的自动驾驶目标检 测与跟踪方法 (57)摘要 本发明公开了基于多源异构信息融合的自 动驾驶目标检测与跟踪方法， 包括： S1、 车载毫米 波雷达与相机采集数据的时空配准， 并将毫米波 雷达点投影至相机图像坐标系中； S2、 构建雷达 特征图， 为相机目标检测算法提供空间注意力模 块； S3、 将SENET 通道注意力模 块以及雷达 特征图 空间注意力模块引入目标检测算法YOLOv5的 backbone结构中； S4、 构建融合扩展卡尔曼滤波 与数据关联算法的KC F目标跟踪算 法； S5、 在相机 未被遮挡情况下， 融合目标检测算法与目标跟踪 算法对车辆目标追踪； 在相机被遮挡情况下， 基 于目标跟踪算法对车辆目标追踪。 本发明采用上 述自动驾驶目标检测与跟踪 方法， 实现了车辆目 标的精准检测与稳定跟踪。 权利要求书3页 说明书8页 附图4页 CN 115471526 A 2022.12.13 CN 115471526 A 1.基于多源异构信息融合的自动驾驶目标检测与跟踪方法， 其特 征在于， S1、 将车载毫米波雷达与相机采集数据进行时间与空间配准， 然后通过坐标变换将毫 米波雷达点投影至相机图像坐标系中； S2、 构建雷达特 征图， 为相机目标检测算法提供空间注意力模块； S3、 将SENET通道注意力模块以及雷达特征图空间注意力模块引入目标检测算法 YOLOv5的backbo ne结构中， 以提高目标检测的速度与精度； S4、 构建融合扩展卡尔曼 滤波与数据关联算法的KCF目标跟踪算法； S5、 在相机未被遮挡情况下， 融合目标检测算法与目标跟踪算法对车辆目标追踪； 在相 机被遮挡情况 下， 基于目标跟踪算法对车辆目标追踪。 2.根据权利要求1所述的自动驾驶目标检测与跟踪方法， 其特征在于， S1步骤的具体处 理过程如下： S11、 采用雷达采样后触发相机采样的方式实现两传感器的时间配准； S12、 利用空间转换模型实现毫米波雷达与相机的空间配准； 空间转换模型表示如下： 式中， [xr yr zr 1]T为毫米波雷达坐标下目标的坐标； [u  v 1]T为像素坐标系下目标的 坐标； R为3 ×3的单位正交旋转矩阵； T为3 ×1的平移矩阵； I为单位矩阵； dx与dy分别表示每 个像素在横、 纵轴上的物理单位下的大小； f为相机的焦距； k为缩放因子； xr、 yr、 zr为目标在 毫米波雷达坐标系下的三维坐标； u、 v为目标在像素坐标系下的二维坐标； zc为相机坐标系 下的坐标； u0、 v0为在坐标系旋转变换操作之前像素坐标系中的二维坐标。 S13、 基于配准后的数据， 将毫米波雷达点投影至相机图像中。 3.根据权利要求2所述的自动驾驶目标检测与跟踪方法， 其特征在于， S2步骤的具体处 理过程如下： S21、 生成一个和图像同样大小的空白单通道雷达特征图， 雷达特征图中每个像素点的 初始值设置为0； S22、 在初始化雷达特征图中各像素点值为0以后， 以雷达特征图中单个雷达投影点为 中心构建ROI感兴趣区域， 即雷达探测 到的目标可能位置， 然后将雷达特征图的ROI感兴趣 区域中的像素点 值设为1； S23、 根据聚类后雷达点数量计算ROI感兴趣区域的面积， 计算公式如下： S＝α n+β 式中， n为雷达反射 点的个数； α 和β 为超参数； α 和β 通过最大化ROI与真实标记框的IOU 进行学习得到， 公式如下：权　利　要　求　书 1/3 页 2 CN 115471526 A 2式中， N为学习超参数 过程中输入样本数； Mi为第i个样本中物体的标记框个数； IOU的计算公式如下： 式中， ROI表示ROI感兴趣区域； GT表示真实标记框区域； S表示 求取面积： S24、 最终， 生成ROI感兴趣区域 内像素值为1、 其他部分像素值为0的表示目标位置信息 的雷达特 征图。 4.根据权利要求3所述的自动驾驶目标检测与跟踪方法， 其特征在于， S3步骤的具体处 理过程如下： S31、 基于SENET通道 注意力计算输入特 征图的不同通道的通道权 重； S32、 将SENET通道注意力模块加在目标检测算法YOLOv5的backbone结构的最后一层， 并按照通道权 重对特征图进行处 理； S33、 将SENET通道注意力模块处理后的特征图与雷达特征图相乘， 使特征图同时受通 道注意力权重和空间位置注意力权重影响， 以此构建融合雷达信息的通道 ‑空间注意力机 制模块； S34、 将通道 ‑空间注意力模块插入至目标检测算法YOLOv5的backbone结构的最后一 层， 以获取目标 可能存在的候选区域和先验信息 。 5.根据权利要求4所述的自动驾驶目标检测与跟踪方法， 其特征在于， S4步骤的具体处 理过程如下： S41、 在雷达探测坐标系下， 采用Bicycle动力学模型对车辆目标进行建模， 用 描述车辆运动状态， 主车与前 车目标之间的相对运动方程 为： 式中， a,b为模型的输入量； B为前车的轴距； v为主车与前车的相对速度； 为前车的前 轮转向角； θ 为前 车的方向角； xr、 yr为车辆当前的坐标； 将上式离 散化， 则满足: 式中， δa与 δb为干扰噪声； δP与 δs为相乘噪声， 表示了当车辆转向角与速度变化时车辆运 动状态不确定性的增加； 上述四种噪声相互独立， 且都为均值为0、 协方差已知的高斯白噪 声；权　利　要　求　书 2/3 页 3 CN 115471526 A 3