(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210678837.6 (22)申请日 2022.06.16 (71)申请人 清华大学 地址 100084 北京市海淀区10 0084信箱82 分箱清华大学专利办公室 (72)发明人 胡坚明　李星宇　刘晗韬　裴欣　 彭黎辉　 (74)专利代理 机构 北京纪凯知识产权代理有限 公司 11245 专利代理师 冀志华 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/774(2022.01) G06V 10/762(2022.01) G06V 10/22(2022.01) (54)发明名称 一种点云行人距离风险检测方法、 系统、 设 备和介质 (57)摘要 本发明涉及一种点云行人距离风险检测方 法、 系统、 设备和介质， 包括以下步骤： 对获取的 点云数据及图像数据进行预处理， 得到三维BEV 图像； 使用训练后的YOL Ov3网络模型对生成的三 维BEV图像进行特征提取和目标检测， 得到BEV图 像上的行人的二维检测框； 基于相邻帧的目标检 测结果对各个行人的风险进行判定， 并对判定结 果进行显示。 本发明可以广泛应用于点云检测与 跟踪领域。 权利要求书2页 说明书13页 附图2页 CN 115100741 A 2022.09.23 CN 115100741 A 1.一种点云行 人距离风险检测方法， 其特 征在于， 包括以下步骤： 对获取的点云数据及图像数据进行 预处理， 得到三维BEV图像； 使用训练后的YOLOv3网络模型对生成的三维BEV图像进行特征提取和目标检测， 得到 三维BEV图像上 各行人的检测框； 基于相邻帧三维BEV图像上各行人的检测框对行人距离风险进行判定， 并对判定结果 进行显示。 2.如权利要求1所述的一种点云行人距离风险检测方法， 其特征在于， 所述对获取的点 云数据及图像数据进行 预处理， 得到三维BEV图像的方法， 包括： 获取激光雷达所采集到的初始点云数据和摄 像机采集到的图像数据； 对初始点云数据进行提取处 理， 得到提取点云； 对提取点云进行 数据增强， 并生成三维BEV图像。 3.如权利要求2所述的一种点云行人距离风险检测方法， 其特征在于， 所述对提取点云 进行数据增强， 并生成三维BEV图像的方法， 包括： 设置三维BEV图像的大小， 并计算出点云 分辨率； 根据点云 分辨率， 计算提取点云中的每一个点在三维BEV图像中的像素位置； 根据三维BEV图像中各像素位置处的最大高度， 反射强度与密度， 计算BEV图像中的RGB 三通道的像素值， 并生成三维BEV图像。 4.如权利要求1所述的一种点云行人距离风险检测方法， 其特征在于， 所述使用训练后 的YOLOv3网络模 型对生成的三维BEV图像进行特征提取和目标检测， 得到三维BEV图像上各 行人的检测框的方法， 包括： 对训练数据进行处理， 并基于确定的损失函数、 网络参数和训练策略对搭建的YOLOv3 网络模型进行训练； 采用训练好的YOLOv3 网络模型对各三维鸟瞰图图像进行目标检测， 得到各三维鸟瞰图 图像的所有预测的检测框； 使用非极大值抑制算法， 从各三维鸟瞰图图像的所有预测的检测框中进行挑选， 挑选 得到的最优检测框即为 三维BEV图像上 各行人的检测框 。 5.如权利要求4所述的一种点云行人距离风险检测方法， 其特征在于， 所述使用非极大 值抑制算法， 从各三维鸟瞰图图像的所有预测的检测框中进行挑选， 挑选得到的最优检测 框即为三维BEV图像上 各行人的检测框的方法， 包括： 令初始集 合H包含全部预测的检测框， 最优检测框集 合M为空集； 设定NMS的阈值 为α； 选出初始集 合H中置信度最高的检测框m到最优检测框集 合M； 遍历初始集合H 中所有剩余的检测框， 计算各剩余的检测框与置信度最高的检测框m的 IOU值， 当IOU值超过α 时， 该检测框从初始集 合H中移出； 重复上述各步骤， 直至初始集 合H为空集， 得到最优检测框 。 6.如权利要求1所述的一种点云行人距离风险检测方法， 其特征在于， 所述基于相邻帧 的目标检测结果对各个行 人的风险进行判定， 并对判定结果进行显示的方法， 包括： 使用SORT算法对相邻帧三维BEV图像上各行人的检测框进行跟踪， 并对相邻帧三维BEV 图像上各行人的检测框进行匹配， 融合， 得到更新后的检测框； 根据更新后的各个行 人的检测框， 使用反距离 权重法， 计算各个行 人的安全风险系数；权　利　要　求　书 1/2 页 2 CN 115100741 A 2将不同风险行人的位置映射到 图像上， 并根据其风险值来选取行人检测框的颜色， 将 其在图像数据中显示。 7.如权利要求6所述的一种点云行人距离风险检测方法， 其特征在于， 所述根据 更新后 的各个行 人的检测框， 使用反距离 权重法， 计算各个行 人的安全风险系数的方法， 包括： 根据得到的各个行 人的检测框， 计算各个行 人之间的欧式距离； 使用局部反距离 权值法， 计算各个行 人的安全风险系数； 根据预设风险阈值以及各行人的安全风险系数， 将各行人的安全风险行为进行划分， 得到低风险行 人和高风险行 人。 8.一种点云行 人距离风险检测系统， 其特 征在于， 包括： 图像获取模块， 用于对获取的点云数据及图像数据进行 预处理， 得到三维BEV图像； 目标检测模块， 用于使用训练后的YOLOv3网络模型对生成的三维BEV图像进行特征提 取和目标检测， 得到三维BEV图像上 各行人的检测框； 风险判定模块， 用于基于相邻帧三维BEV图像上各行人的检测框对行人距离风险进行 判定， 并对判定结果进行显示。 9.一种处理设备， 所述处理设备至少包括处理器和存储器， 所述存储器上存储有计算 机程序， 其特征在于， 所述处理器运行所述计算机程序时执行以实现权利要求1到7任一项 所述点云行人距离风险检测方法的步骤。 10.一种计算机存储介质， 其特征在于， 其上存储有计算机可读指令， 所述计算机可读 指令可被处理器执行以实现根据权利要求1到7任一项所述点云行人距离风险检测方法的 步骤。权　利　要　求　书 2/2 页 3 CN 115100741 A 3