(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210860336.X (22)申请日 2022.07.22 (65)同一申请的已公布的文献号 申请公布号 CN 114972470 A (43)申请公布日 2022.08.30 (73)专利权人 北京中科慧眼科技有限公司 地址 100085 北京市海淀区创业中路32号 楼32-1-1- 559 (72)发明人 谢启伟　杨超　孙钊　肖志鹏　 裴姗姗　 (74)专利代理 机构 北京远立知识产权代理事务 所(普通合伙) 11502 专利代理师 李海燕 (51)Int.Cl. G06T 7/55(2017.01)G06T 7/10(2017.01) G06V 10/762(2022.01) G06N 20/00(2019.01) G06K 9/62(2022.01) (56)对比文件 CN 112067006 A,2020.12.1 1 US 2019378423 A1,2019.12.12 CN 112560774 A,2021.0 3.26 审查员 陈静 (54)发明名称 基于双目视 觉的路面环境获取方法和系统 (57)摘要 本发明公开了一种基于双目视觉的路面环 境获取方法和系统， 方法包括： 获取原始图像的 点云数据； 将原始图像的点云数据输入预先训练 的特征点检测模 型和深度学习分割模 型， 以得到 目标区域的边界关键点位置和目标区域内的地 面类型信息； 对点云数据进行筛选并添加语义信 息， 以得到扩展 点云数据； 基于扩展点云数据， 在 当前帧原始图像中进行体素划分， 计算体素匹配 信息； 根据体素匹配信息， 建立连续帧的跟踪优 化方程； 基于跟踪优化方程中连续帧的体素跟踪 关系， 优化点云位姿匹配关系， 以得到优化点云 信息； 将优化点云信息用于聚类操作， 以得到路 面环境信息结果。 解决了 现有技术中无法实现准 确路面环境感知的技 术问题。 权利要求书4页 说明书10页 附图2页 CN 114972470 B 2022.11.18 CN 114972470 B 1.一种基于双目视 觉的路面环境获取 方法， 其特 征在于， 所述方法包括： 获取目标区域的原 始图像， 并计算所述原 始图像的视 差图； 对所述原 始图像和所述视 差图进行 预处理， 以得到基于所述原 始图像的点云数据； 将所述原始图像的点云数据输入预先训练 的特征点检测模型和深度学习分割 模型， 以 得到所述目标区域的边界关键点 位置和所述目标区域内的地 面类型信息； 基于所述特征点检测模型， 对所述点云数据进行筛选并添加语义信息， 以得到扩展点 云数据； 基于所述扩展点云数据， 在当前帧原始图像中进行体素划分， 以连续帧原始图像作为 一组标记体素信息， 并计算体素匹配信息； 根据所述体素匹配信息， 建立连续帧的跟踪优化方程； 基于所述跟踪优化方程中连续帧的体素跟踪关系， 优化点云位姿匹配关系， 以得到优 化点云信息； 将所述优化 点云信息用于聚类操作， 以得到路面环境信息结果； 所述原始图像的点云数据的数据结构为 ； 其中， （x,y,z） 是基于 视差图生成的空间点云坐标； （g,u,v） 是目标点云对应 像素点的灰阶强度、 色调和饱和度； 所述扩展点云数据的数据结构为 ； 其中， （x,y,z） 是基于 视差图生成的空间点云坐标； （g,u,v） 是目标点云对应 像素点的灰阶强度、 色调和饱和度； c是语义类别； 基于所述扩展点云数据， 在当前帧原 始图像中进行体素划分， 具体包括： 基于相机坐标系， 将连续空间划分为尺寸为L*W*H （长*宽*高） 的小立方体， 每一个小立 方体定义 为一个体素， 全部体素的几何 组成体素空间 ； 如果体素空间 内存在预设数量的点云， 对点云信息进行抽象提取并赋予体素信息； 否 则体素信息 置为空； 当体素中的点云数量大于预设阈值时， 对这个体素中所有点云信息中的 （g,u,v,c） 元 素， 分别进行直方图统计， 选取 数量占比最多的一个赋值给当前体素语义信息； 选取当前体素的几何中心作为体素空间信息， 并构成体素信息结构体V={Xv,Yv,Zv, Gv,Uv,Vv,Cv}； 其中， （Xv,Yv,Zv） 是体素的空间信息， （Gv,Uv,Vv） 是体素的图像信息， Cv是体素的语义 信息； 连续帧原 始图像作为 一组标记体素信息， 并计算体素匹配信息， 具体包括： 设体素信息标记为 ， 表示在第N帧数据中， 位于 （x,y,z） 位置的体素信息； 当N=3时， 则存在三帧数据V1， V 2， V3， 在V1和V 2之间构建匹配关系： 其中， |·|L2表示二范数， 定义为如下形式：权　利　要　求　书 1/4 页 2 CN 114972470 B 2（3） 其中， 0<ω<1是权重调节参数； 根据所述体素匹配信息， 建立连续帧的跟踪优化方程， 具体包括： 利用以下公式， 分别计算出第1帧和第2帧数据之间的转换映射关系： （4） 其中， 是 的齐次坐标的列向量表示， R和T分别是由 向 转 换的映射 参数； 建立第1帧和第2帧数据之间的转换映射优化方程： （5） 建立第2帧和第3帧数据之间的转换映射优化方程 ： （6） 建立第1帧和第3帧数据之间的转换映射优化方程 ： （7） 基于 和 建立跟踪优化方程： （8） ； 基于公式 （8） ， 得到优化后的相邻转换的映射关系R和T， 则将前一帧相机坐标系下的全 部点云信息， 通过映射关系全部转移到当前帧相机坐标系下， 转换方法如公式 （5） ‑（7） 所 示， 则在当前帧相机坐标系下， 存在两组点云信息： 当前帧点云信息 和由前一帧转 换而 来的点云信息 ， 基于当前帧点云信息 ， 构建点云相似度计算公式如下： （9） 选取令全部的 之和最小的匹配关系集合， 作为连续帧点云信息的匹配关系， 并进行 点云信息融合， 融合方式定义如下： ； 其中 是调和权 重， 他的取值与点云之间的空间信息、 点云图像信息、 点云语义信息的综合差异有关， 是依 据实际使用环境进行设定的； 但需要遵守以下三个主旨： （1） 空间信息差异越大， 越大； （2） 图像信息 差异越大， 越大； （3） 语义信息 差异越大， 越大。 2.一种基于双目视 觉的路面环境获取系统， 其特 征在于， 所述系统包括： 图像获取 单元， 用于获取目标区域的原 始图像， 并计算所述原 始图像的视 差图； 数据处理单元， 用于对所述原始图像和所述视差 图进行预处理， 以得到基于所述原始 图像的点云数据； 类型输出单元， 用于将所述原始图像的点云数据输入预先训练 的特征点检测模型和深 度学习分割模型， 以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信 息；权　利　要　求　书 2/4 页 3 CN 114972470 B 3