(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221089790 0.5 (22)申请日 2022.07.28 (71)申请人 中国人民解 放军军事科学院国防科 技创新研究院 地址 100071 北京市丰台区丰台东大街5 3 号 (72)发明人 肖良　朱琪　商尔科　赵大伟　 聂一鸣　戴斌　 (74)专利代理 机构 中国兵器 工业集团公司专利 中心 11011 专利代理师 王智红 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/33(2017.01) G06T 7/80(2017.01)G01S 17/86(2020.01) (54)发明名称 一种多传感器融合的全天时三维目标检测 方法 (57)摘要 一种多传感器融合的全天时三维目标检测 方法， 属于计算机视觉中的目标检测技术领域。 首先对可见光相机、 红外相机和激光雷达进行时 空配准； 然后分别对可见光图像和红外图像利用 训练好的目标检测深度网络模型进行目标检测， 获取可见光图像和红外图像中的二维目标列表， 包含目标的类别及二维包围框； 再次分别对可见 光图像和红外图像中检测到的每个二维目标包 围框提取对应的三维点云视锥， 并在该视锥体中 进行三维点 云目标检测； 最后对 所有视锥体中检 测到的三维目标进行非极大值抑制处理， 消除对 同一目标的重复检测， 并将最终的三维目标检测 结果输出。 本发明综合可见光相机、 红外相机和 激光雷达传感器， 能在白天和夜晚全天时环境下 稳定地检测三维目标。 权利要求书2页 说明书6页 附图1页 CN 115294200 A 2022.11.04 CN 115294200 A 1.一种多传感器融合的全天时三维目标检测方法， 其特 征在于， 包括如下步骤： S1.对可见光相机、 红外相机和激光雷达进行时空配准； S2.分别对可见光图像和红外图像利用训练好的目标检测深度网络模型进行目标检 测， 获取可见光图像和红外图像中的二维目标列表， 包 含目标的类别及二维包围框； S3.分别对可见光图像和红外图像 中检测到的每个二维目标包围框提取对应的三维点 云视锥， 并在该视锥体中进行三维点云目标检测； S31.对可 见光图像或红外图像中该目标的二维包围框进行放大处 理； S32.将点云投影到可见光相机坐标系或红外相机坐标系， 并筛选落在放大后的二维框 对应的视锥体中的点云PF或PF′； S33.在PF或PF′中利用训练好的点云数据的深度学习模型算法进行三维目标检测， 最终 得到目标的类别、 三维包围框及置信度。 S4.对所有视锥体中检测到的三维目标进行非极大值抑制处理， 消除对 同一目标的重 复检测， 并将最终的三维目标检测结果输出。 2.根据权利要求1所述的一种 多传感器融合的全天时三维 目标检测方法， 其特征在于， 所述步骤1具体如下： S11.通过硬触发或软同步的方式实现激光雷达、 可见光相机、 红外相机的时间同步， 其 中硬触发方式为当激光雷达旋转至接近可见光相机或红外相机视野时触发相机曝光， 软同 步则通过记录激光雷达点云和图像数据的时间戳， 并通过寻找时间戳最接近的数据帧进 行 同步。 S12.对可见光相机和红外相机进行内参数标定， 获取可见光相机和红外相机的内参数 矩阵KV和KI； S13.依次将可见光相机和红外相机与激光雷达进行交叉标定， 获取激光雷达坐标系 {L}与可见光相机坐标系{V}之间的坐标变换矩阵 以及与红外相机坐标系{I}之间 的坐 标变换矩阵 通过坐标变换矩阵和相机内参 数矩阵将激光 雷达坐标系下的点云分别投影 到可见光图像和红外图像上， 实现点云和两种相机图像的配准。 3.根据权利要求2所述的一种 多传感器融合的全天时三维 目标检测方法， 其特征在于， 所述步骤S13实现过程如下： S131.预先随机放置若干辅助 标定物， 使得在可见光图像、 红外图像和三维点云中均能 清楚的辨析 标定物的角点； S132.使用待标定的可见光相机、 红外相机和激光雷达采集所述标定物的可见光图像、 红外图像和点云数据； S133.在采集的可见光图像和红外图像中选取辅助标定物角点的像素， 得到角点的图 像坐标； 再在 采集的点云数据中选取对应角点的激光点， 获取其三 维坐标， 并分别对可见光 图像和红外图像根据选取的图像坐标和对应的三维激光点坐标结合相机的内参数矩阵求 解坐标变换矩阵 和 4.根据权利要求3所述的一种 多传感器融合的全天时三维 目标检测方法， 其特征在于， 所述步骤S131中的辅助标定物为加热后的金属平板 。 5.根据权利要求1所述的一种 多传感器融合的全天时三维 目标检测方法， 其特征在于，权　利　要　求　书 1/2 页 2 CN 115294200 A 2所述步骤S2如下实现： S21.将当前的可 见光图像或红外图像进行 预处理， 归一化至预设尺寸； S22.将预处理之后的图像输入至预先训练好的目标检测网络进行特征提取和包围框 预测； S23.对网络预测结果进行解码和非极大值抑制后处理， 获取对应原始图像的目标包围 框位置及类别 信息列表。 6.根据权利要求1所述的一种 多传感器融合的全天时三维 目标检测方法， 其特征在于， 所述S33的点云数据的深度学习模型算法能够采用但不限于采用F ‑PointNet或F ‑ConvNet。权　利　要　求　书 2/2 页 3 CN 115294200 A 3