(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210630026.9 (22)申请日 2022.06.06 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 张炳力　王怿昕　姜俊昭　徐雨强　 王欣雨　王焱辉　杨程磊　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G01S 17/931(2020.01) G01S 17/86(2020.01) G01S 17/66(2006.01) G01S 7/48(2006.01)G06T 7/80(2017.01) G06T 7/11(2017.01) G06T 7/246(2017.01) G06T 7/277(2017.01) G06T 3/40(2006.01) G06V 10/762(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于激光雷达与机器视觉融合的目标 检测方法 (57)摘要 本发明公开了一种基于激光雷达与机器视 觉融合的目标检测方法， 包括： 1.在车辆相应位 置安置激光雷达与相机； 2.对所述激光雷达采集 到的点云信息进行处理输出雷达检测框； 3.对所 述相机采集到的图像信息进行处理输出视觉检 测框； 4.对所述激光雷达和相机处理后的信息进 行时空同步； 5.对时空同步后的信息进行数据关 联， 获取关联对； 6.对获取的关联对进行数据融 合， 并对融合的目标进行跟踪， 综合连续帧目标 信息输出最终 融合结果。 本发明能避免对基于多 传感器融合的目标检测过程中， 数据关联与融合 过程存在大量误检、 漏检的问题， 从而能够保证 对感知环境评估的准确性， 并确保规划控制的精 准执行。 权利要求书3页 说明书8页 附图5页 CN 115032651 A 2022.09.09 CN 115032651 A 1.一种基于 激光雷达与机器视 觉融合的目标检测方法， 其特 征在于， 包括如下步骤： A、 在车的前保险杠位置处安装有固态式的激光雷达， 在车的前挡风玻璃处安装有相 机， 以车辆的前进方向为Z轴， 以指向驾驶员左侧方向为X轴， 以指向车辆正上方方向为Y轴， 以激光雷达的激光发射中心作为相机原点Ol建立激光雷达坐标系Ol‑XlYlZl， 并以相机聚焦 中心作为相机坐标系原点Oc建立相机坐标系Oc‑XcYcZc， 两个坐标系的O ‑XZ面均与地面保持 水平； B、 对所述激光雷达采集到的每帧点云信息进行处理， 包括： 先通过多平面拟合方法对 点云信息进行地面点云分割， 得到的分割 结果再进行路沿点提取后， 对所提取 的路沿点依 次进行曲线拟合、 滤波、 下采样的处理并得到每帧的感兴趣区域； 对 所述感兴趣区域内的点 云进行聚类操作， 得到每帧聚类后的各个目标， 并用三 维检测框标识聚类后的各个目标； 其 中， 第p帧聚类后的第q个目标利用第q个三维检测框 来标识， 表示第 p帧中第q个三维检测框中心点的x轴坐标， 表示第p帧中第q个三维检测框中心点的y轴坐 标， 表示第p帧中第q个三维检测框中心点的z轴坐标， 表示第p帧中第q个三维检测框 的宽度， 表示第p帧中第q个三维检测框的长度， 表示第p帧中第q个三维检测框的高度； 选取三维检测框中与激光雷达距离最近的二维检测框 来表征所述第p帧中 聚类后的第q个目标； 从而得到带有检测框的点云数据集； C、 采用卷积注意力 模块构建yolov5模型， 并利用道路车辆图像数据 集对所述yolov5模 型进行训练， 得到训练好的yolov5模型， 利用所述训练好的yolov5模型对所述相机采集到 的每帧图像信息进 行处理， 并输出每帧图像信息中各个目标的检测框及其坐标、 尺寸、 类别 与置信度信息， 从而得到带有检测框的图像信息集； D、 对所述点云信息集和图像信息集进行时空同步， 包括： 以激光雷达信号作为配准频 率的基准， 利用插值的方法对激光雷达与相 机的时间戳进行对齐后， 从而得到同一时刻激 光雷达的点云信息集与相 机的图像信息集； 再对相 机进行标定获得相 机的内参， 对相 机与 激光雷达进行联合标定， 并获得外参， 从而将激光雷达坐标系 下的二维检测框投影到像素 坐标系下， 得到投影后的二维检测框 其中， 表示第q个投影后的二维 检测框中心点的x轴坐标， 表示第q个 投影后的二维检测框中心点的y轴坐标， 表示第 q个投影后的二维检测框的宽度， 表示第q个投影后的二维检测框的高度； E、 对时空同步后的信息进行 数据关联， 获取关联对： E1、 设置关联门限为rth； 定义变量i表示所述激光雷达与相机经过时间同步后的帧数， 定义变量j表示观测第i帧激光雷达的点云数据包含的当前目标数， 定义变量k表示观测第i 帧相机的图像数据包 含的当前目标 数， 并初始化 i＝1； E2、 初始化j＝1； 以第i帧激光雷达的点云数据集中第j个投影后的二维检测框的坐标 及尺寸信息作为第i帧的第j个雷达目标观测信息 以所述第i帧的第j个雷 达目标观测信息 所对应的三维检测框作为第i帧聚类后的第j个三维检测权　利　要　求　书 1/3 页 2 CN 115032651 A 2框 E3、 初始化k＝1； 以第i帧相机的图像信息集中第k个检测框的坐标、 尺寸、 类别与置信 度信息作为第i帧的第k个相机目标观测信息 其中， 表示第k 个检测框中心点的x轴坐标， 表示第k个检测框中心点的y轴坐标， 表示第k个检测框 的宽度， 表示第k个检测框的高度， 第k个检测框的检测出的目标的类别， 表示第k 个检测框的置信度信息； E4、 计算第i帧的第j个激光雷达目标观测信息 与第i帧的第k个相机目 标观测信息 之间的欧氏距离 E5、 判断 是否成立， 若成立， 则表示激光雷达的检测目标与相机的检测目标匹 配成功， 第i帧的第j个雷达目标观测信息 与第i帧的第k个相机目标观测信 息 之间是关联对， 否则， 表示匹配失败； E6、 将k+1赋值给k后， 返回步骤E3顺序执行， 直到第i帧的所有相机目标观测信息遍历 完成后， 将 j+1赋值给j后， 返回步骤E2， 直到第i帧的所有目标遍历完成； E7、 计算第i帧的第j个雷达目标观测信息 与第i帧的第k个相机 目标观 测信息 之间关联对的交并比 并与所设置的交并比阈值 IOUth进行比较， 若 则表示第i帧中相应的关联对正确， 并输出， 否则， 舍去第 i帧中相应的关联对， 并返回E7计算第i帧中下一个 关联对， 直到输出完第i帧中所有正确的 关联对； F、 对第i帧中所有正确的关联对进行数据融合， 得到第i帧融合后的目标检测信息， 包 括： 若第i帧的第m个雷达目标观测信息 与第n个相机目标观测信息 之间是关联对， 则先直接将第i帧的第m个雷达目标观测信息所 对应的三维检测框中的x轴坐标 y轴坐标 z轴坐标 长度 宽度 以及第n个相 机目标观测信息中的类别 置信度信息 直接作为相应关联对的融合后的部分目标检 测信息， 然后利用步骤D中标定好的相机内参与外参将第n个相机目标观测框转换到雷达坐 标系下， 从而获得第n个相机目标观测高度 在雷达坐标系下的投影 并作为相应关联对 的融合后的目标检测高度补偿信息， 由融合后的部 分目标检测信息与目标检测高度补偿信 息构成融合后的目标检测信息； G、 对第i帧融合的目标检测信息中各个目标进行跟踪后输出目标检测结果。 2.根据权利要求1所述的基于激光雷达与机器视觉融合的目标检测方法， 其特征在于， 所述E5中， 若第i帧的第j个雷达目标观测信息 与第i帧的任意一个相机目 标观测信息 之间的欧氏距离 均大于rth， 则将第i帧的第j个雷权　利　要　求　书 2/3 页 3 CN 115032651 A 3