(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210701257.4 (22)申请日 2022.06.21 (71)申请人 无锡威孚高科技 集团股份有限公司 地址 214028 江苏省无锡市新吴区华 山路5 号 (72)发明人 郭枰　屈操　陶烨　 (74)专利代理 机构 无锡市大为专利商标事务所 (普通合伙) 32104 专利代理师 陈丽丽　曹祖良 (51)Int.Cl. G06V 20/58(2022.01) G06V 40/10(2022.01) G01S 13/86(2006.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/277(2017.01) (54)发明名称 一种夜间行 人检测方法、 装置及系统 (57)摘要 本发明涉及智能驾驶技术领域， 具体公开了 一种夜间行人检测方法， 其中， 包括： 分别获取夜 间目标道路的实时视觉图像信息和实时点云信 息， 其中视觉图像信息为标定后的红外视觉检测 装置实时采集到的夜间目标道路的图像信息， 点 云信息为标定后的毫米波雷达装置实时采集到 的夜间目标道路的点云信息； 对实时视觉图像信 息进行基于夜间行人检测的视觉图像处理后得 到视觉检测框， 以及对实时点云信息进行基于夜 间行人检测的聚类处理后得到雷达检测框； 将雷 达检测框与视觉检测框进行融合， 根据融合结果 确定夜间行人的检测结果。 本发 明还提供了一种 夜间行人检测装置及夜间行人检测系统。 本发明 提供的夜间行人检测方法能够提高黑暗环境下 的检测精度。 权利要求书2页 说明书7页 附图3页 CN 115116034 A 2022.09.27 CN 115116034 A 1.一种夜间行 人检测方法， 其特 征在于， 包括： 分别获取夜间目标道路的实时视觉图像信 息和实时点云信 息， 其中所述视觉图像信 息 为标定后的红外视觉检测装置实时采集到的夜间目标道路的图像信息， 所述点云信息为标 定后的毫米波雷达装置实时采集到的夜间目标道路的点云信息； 对所述实时视觉图像信 息进行基于夜间行人检测的视觉图像处理后得到视觉检测框， 以及对所述实时点云信息进行基于夜间行 人检测的聚类处 理后得到雷达检测框； 将所述雷达检测框与 所述视觉检测框进行融合， 根据融合结果确定夜间行人的检测结 果。 2.根据权利要求1所述的方法， 其特征在于， 对所述实时视觉图像信 息进行基于夜间行 人检测的视 觉图像处 理后得到 视觉检测框， 包括： 根据夜间行 人的红外图像训练数据集进行训练， 得到夜间行 人检测模型； 将所述实时视 觉图像信息 输入所述夜间行 人检测模型， 得到所述视 觉检测框 。 3.根据权利要求2所述的方法， 其特 征在于， 包括： 根据追踪算法对所述视 觉检测框进行平 滑处理。 4.根据权利要求1所述的方法， 其特征在于， 对所述实时点云信 息进行基于夜间行人检 测的聚类处 理后得到雷达检测框， 包括： 对所述实时点云信息进行聚类处 理得到多个点云簇； 对每个点云簇进行目标跟踪算法处 理， 得到每 个点云簇的航迹； 根据每个点云簇的航迹与聚类结果获得 雷达检测框 。 5.根据权利要求4所述的方法， 其特征在于， 根据每个点云簇的航迹与聚类结果获得雷 达检测框， 包括： 根据所述实时点云信息的体积以及每 个点云簇的航迹生成雷达目标检测框列表； 对所述雷达目标检测框列表进行抗干扰处 理， 得到所述雷达检测框 。 6.根据权利要求1所述的方法， 其特征在于， 将所述雷达检测框与所述视觉检测框进行 融合， 根据融合结果确定夜间行 人的检测结果， 包括： 将所述雷达检测框映射到所述视 觉检测框所在的摄 像头坐标系下； 分别遍历所述雷达检测框与 所述视觉检测框， 以确定所述雷达检测框与所述视觉检测 框均检测到相同目标； 当所述雷达检测框与 所述视觉检测框均检测到相同目标时， 将所述雷达检测框对目标 的检测信息与所述视 觉检测框对目标的检测信息进行融合。 7.根据权利要求6所述的方法， 其特征在于， 分别遍历所述雷达检测框与所述视觉检测 框， 以确定所述雷达检测框与所述视 觉检测框均检测到相同目标， 包括： 遍历雷达目标检测框列表中的检测框， 得到检测框第一遍历结果； 遍历视觉目标检测框列表中的检测框， 得到检测框第二遍历结果， 其中所述雷达目标 检测框列表的框元 素和所述视 觉目标检测框列表的框元 素相同； 计算所述检测框第一遍历结果与所述检测框第二遍历结果的目标重合 率； 若所述目标重合率大于第 一预设阈值， 则确定所述雷达检测框与所述视觉检测框均检 测到相同目标， 其中所述目标包括夜间行 人； 若所述目标重合率不大于第 一预设阈值， 则计算所述检测框第 一遍历结果与 所述检测权　利　要　求　书 1/2 页 2 CN 115116034 A 2框第二遍历结果的属性匹配度； 若所述属性匹配度大于第 二预设阈值， 则确定所述雷达检测框与所述视觉检测框均检 测到相同目标； 若所述属性匹配度不大于第 二预设阈值， 则确定所述毫米波雷达装置和红外视觉检测 装置两者至少之一存在误差， 并输出两者的所有检测结果。 8.根据权利要求1所述的方法， 其特征在于， 在所述分别获取夜间目标道路的实时视觉 图像信息和实时点云信息的步骤前进行的： 对所述毫米波雷达装置和所述红外视觉检测装置进行空间坐标匹配， 以实现所述毫米 波雷达装置和所述红外 视觉检测装置的标定 。 9.一种夜间行人检测装置， 用于实现权利要求1至8中任意一项所述的夜间行人检测方 法， 其特征在于， 包括： 获取模块， 用于分别获取夜间目标道路的实时视觉 图像信息和实时点云信息， 其中所 述视觉图像信息为标定后的红外视觉检测装置实时采集到的夜间目标道路的图像信息， 所 述点云信息为标定后的毫米波雷达装置实时采集到的夜间目标道路的点云信息； 处理模块， 用于对所述实时视觉图像信 息进行基于夜间行人检测的视觉图像处理后得 到视觉检测框， 以及对所述 实时点云信息进 行基于夜间行人检测的聚类处理后得到雷达检 测框； 融合模块， 用于将所述雷达检测框与所述视觉检测框进行融合， 根据融合结果确定夜 间行人的检测结果。 10.一种夜间行人检测系统， 其特征在于， 包括： 红外视觉检测装置、 毫米波雷达装置和 权利要求9所述的夜间行人检测装置， 所述红外视觉检测装置和毫米波雷达装置均与所述 夜间行人检测装置通信连接， 所述红外视觉检测装置用于实时采集 夜间目标道路的图像信 息， 所述毫米波雷达装置用于实时采集夜间目标道路的点云信息， 所述夜间行人检测装置 用于根据所述夜间目标道路的图像信息和夜间目标道路的点云信息进 行融合处理， 得到夜 间行人的检测结果。权　利　要　求　书 2/2 页 3 CN 115116034 A 3