(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210745119.6 (22)申请日 2022.06.27 (71)申请人 重庆长安汽车股份有限公司 地址 400020 重庆市江北区鱼嘴镇长安汽 车全球研发中心 (72)发明人 詹东旭　单玉梅　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄琼 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/80(2022.01) G06V 10/52(2022.01) G06V 10/62(2022.01) G06V 10/762(2022.01)G06T 3/00(2006.01) G01S 17/86(2020.01) G01S 17/931(2020.01) B60R 1/27(2022.01) B60R 16/02(2006.01) (54)发明名称 车辆的鸟瞰图生成方法、 装置、 车辆及存储 介质 (57)摘要 本申请涉及自动驾驶技术领域， 特别涉及一 种车辆的鸟 瞰图生成方法、 装置、 车辆及存储介 质， 其中， 方法包括： 获取车辆周围 的多个感知信 息并提取对应的二维特征图； 按预设变换策略对 每个二维特征图进行几何变换， 得到第一特征图 并进行特征融合和空间转换， 得到不同时刻的单 帧特征图； 在当前时刻车辆坐标系下进行空间维 度和时序维度的融合， 生成第二特征图； 根据第 二特征图获取车辆周围的动态和静态障碍物特 征， 并基于动态和静态障碍物特征生成车辆周围 的鸟瞰图。 由此， 本申请可以接收环绕车身360度 的多个摄像头原始二维图像输入和/或激光雷达 输入， 并直接输出鸟瞰图视角下的感知信息， 减 少后处理的工作量， 提高整个系统的鲁棒 性。 权利要求书2页 说明书14页 附图12页 CN 115273022 A 2022.11.01 CN 115273022 A 1.一种车辆的鸟瞰图生成方法， 其特 征在于， 包括以下步骤： 获取车辆周围的多个感知信息； 提取每个感知信息的二维特征图， 按照预设变换策略对每个二维特征图进行几何变 换， 得到第一特 征图； 对所有第一特征图进行特征融合和 空间转换， 得到不同时刻的单帧特征图， 并在当前 时刻车辆坐标系下对所述不同时刻的单帧特征图进行 空间维度和时序维度的融合， 生成第 二特征图； 根据所述第 二特征图获取所述车辆周围的动态障碍物特征和静态障碍物特征， 并基于 所述动态障碍物特 征和所述静态障碍物特 征生成所述车辆周围的鸟瞰图。 2.根据权利要求1所述的方法， 其特征在于， 所述按照预设变换策略对每个二维特征图 进行几何变换 得到第一特 征图， 包括： 获取所述第一特 征图与每 个二维特 征图上的对应点； 根据预先构造完成的逆透视变换矩阵将所述对应点用于在所述每个二维特征图上， 得 到所述第一特 征图。 3.根据权利要求1所述的方法， 其特征在于， 所述对所有第 一特征图进行特征融合和空 间转换， 得到不同时刻的单帧特 征图， 包括： 提取每个第一特征图之间的特征关系， 基于所述特征关系进行特征融合， 得到当前时 刻单帧特 征图； 将所述当前时刻单帧特征图和历史多个时刻的单帧特征图转换至所述当前时刻车辆 坐标系下， 得到不同时刻的单帧特 征图。 4.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 二特征图获取所述车辆周 围的动态障碍物特 征和静态障碍物特 征， 包括： 将所述第二特征图输入至预先建立的第 一解码器， 对所述第 二特征图进行动态障碍物 语义信息的解码， 得到所述动态障碍物特 征； 将所述第二特征图输入至预先建立的第 二解码器， 对所述第 二特征图进行静态障碍物 语义信息的解码， 得到所述静态障碍物特 征。 5.根据权利要求1 ‑4任意一项所述的方法， 其特征在于， 所述基于所述动态障碍物特征 和所述静态障碍物特 征生成所述车辆周围的鸟瞰图， 包括： 获取所述车辆的激光雷达的点云数据； 将所述点云数据输入至预先建立完成的点云特征提取模型， 输出所述点云数据的点云 特征； 将所述点云特征、 所述动态障碍物特征和所述静态障碍物特征融合， 得到所述车辆周 围的鸟瞰图。 6.一种车辆的鸟瞰图生成装置， 其特 征在于， 包括： 获取模块， 用于获取 车辆周围的多个感知信息； 第一变换模块， 用于提取每个感知信息的二维特征图， 按照预设变换策略对每个二维 特征图进行几何变换， 得到第一特 征图； 第二变换模块， 用于对所有第一特征图进行特征融合和 空间转换， 得到不同时刻的单 帧特征图， 并在当前时刻车辆坐标系下对所述不同时刻的单帧特征图进 行空间维度和时序权　利　要　求　书 1/2 页 2 CN 115273022 A 2维度的融合， 生成第二特 征图； 生成模块， 用于根据 所述第二特征图获取所述车辆周围的动态障碍物特征和静态障碍 物特征， 并基于所述动态障碍物特 征和所述静态障碍物特 征生成所述车辆周围的鸟瞰图。 7.根据权利要求6所述的装置， 其特 征在于， 所述第一变换模块用于： 获取所述第一特征图与每个二维特征图上的对应点； 根据预 先构造完成的逆透视变换矩阵将所述对应点用于在所述每个二维特征图上， 得到所述第一 特征图； 所述第二变换模块用于： 提取每个第一特征图之间的特征关系， 基于所述特征关系进 行特征融合， 得到当前时刻单帧特征图； 将所述当前时刻单帧特征图和历史多个时刻的单 帧特征图转换至所述当前时刻车辆坐标系下， 得到不同时刻的单帧特 征图； 所述生成模块用于： 将所述第二特征图输入至预先建立的第一解码器， 对所述第二特 征图进行动态障碍物语义信息的解码， 得到所述动态障碍物特征； 将所述第二特征图输入 至预先建立的第二解码器， 对所述第二特征图进行静态障碍物语义信息的解码， 得到所述 静态障碍物特 征。 8.根据权利要求6 ‑7任意一项所述的装置， 其特 征在于， 所述 生成模块进一 步用于： 获取所述车辆的激光雷达的点云数据； 将所述点云数据输入至预先建立完成的点云特征提取模型， 输出所述点云数据的点云 特征； 将所述点云特征、 所述动态障碍物特征和所述静态障碍物特征融合， 得到所述车辆周 围的鸟瞰图。 9.一种车辆， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所述处 理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑5任意一项 所述 的车辆的鸟瞰图生成方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑5任意一项所述的车辆的鸟瞰图生成方法。权　利　要　求　书 2/2 页 3 CN 115273022 A 3