(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211167454.9 (22)申请日 2022.09.23 (71)申请人 西北工业大 学 地址 710072 陕西省西安市友谊西路127号 (72)发明人 梁韵基　陈能真　刘磊　於志文　 (74)专利代理 机构 丽水创智果专利代理事务所 (普通合伙) 33278 专利代理师 胡崧 (51)Int.Cl. G06T 5/50(2006.01) G06T 7/55(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于级联特征交互的点云图像深度补 全方法 (57)摘要 本发明公开了一种基于级联特征交互的点 云图像深度补全 方法， 属于自动驾驶领域， 包括： 获取自动驾驶场景三维点云和场景二维RGB图 像， 根据多个残差模块构建编码器， 根据多个上 采样模块构建解码器， 分别构建点云和图像的神 经网络， 在点云和图像的神经网络之间， 构建多 个级联特征交互模块， 构建特征交互的点云和图 像双分支神经网络模型， 在特征交互的点云和图 像双分支神经网络模型输入场景三维点云和场 景二维RGB维图像， 输 出场景稠密深度图， 通过使 用置信度图加权的方式融合两个分支输出的场 景深度图， 得到可信度更高的深度图。 该方法相 比于其他的基于图像和点云融合的模 型， 在以图 像和低线束激光雷达点云为输入的情况下具有 更好的深度感知性能。 权利要求书2页 说明书6页 附图1页 CN 115511759 A 2022.12.23 CN 115511759 A 1.一种基于级联 特征交互的点云图像深度补全方法， 其特 征在于， 包括： 获取自动驾驶场景三维点云和场景二维 RGB图像； 根据多个级联的Resnet34的残差模块， 构建对场景三维点云和场景二维RGB图像进行 特征提取的两个编码器； 根据多个级联的上采样模块， 构建对场景三维点云和场景二维RGB图像进行特征还原 的两个解码器； 将场景三维点云提取和还原分支的编码器的输出与解码器的输入连接， 构建场景三维 点云分支神经网络； 将场景二维RGB图像提取和还原分支的编码器的输出与解码器的输入连接， 构建场景 二维RGB图像分支神经网络； 将场景三维点云分支神经网络和场景二维RGB图像分支神经网络中两个编码器的残差 模块的各层级一 一对应设置； 根据一个1x1卷积、 三个空洞率分别为1、 2、 4的空洞卷积、 和一个1x1卷积按顺序搭建一 个特征交互模块、 并级 联， 获得多个级联特征 交互模块， 每个级 联特征交互模块的输入与两 个编码器的残差模块的对应层级输出连接， 每个级联特征 交互模块的输出与两个编 码器的 下一对应层级连接， 构建特 征交互的点云和图像双分支神经网络模型； 在特征交互的点云和图像双分支神经网络模型输入场景三维点云和场景二RGB维图 像， 输出两幅场景深度图； 通过使用置信度图加权的方式 融合两幅场景深度图， 得到新的一幅场景深度图。 2.如权利要求1所述的一种基于级联特征交互的点云图像深度补全方法， 所述对场景 三维点云和场景二维RGB图像进行特征提取的两个编码器均包括五个级联的残差模块， 对 场景三维点云和场景二 维RGB图像进 行特征还原的两个解码器均包括 五个级联的上采样模 块， 在对场景三维点云进行特征提取 的编码器中， 残差模块的卷积神经网络采用稀疏卷积 神经网络， 卷积核为3x3； 在 对场景二 维RGB图像进行特征提取的编码器中， 残差模块的卷积 神经网络采用标准的卷积神经网络， 卷积核为3x3 。 3.如权利要求1所述的一种基于级联特征交互 的点云图像深度补全方法， 其特征在于， 所述三维点云分支神经网络和场景二维RGB图像分支神经网络均包括多个不同的卷积层、 池化层、 激活层、 转置卷积层和跨尺度特 征连接层。 4.如权利要求1所述的一种基于级联特征交互 的点云图像深度补全方法， 其特征在于， 每个所述解码器包括五个级联的上采样模块， 每个上采样模块均包括一个转置卷积、 一个 批归一化层、 一个池化层。 5.如权利要求4所述的一种基于级联特征交互 的点云图像深度补全方法， 其特征在于， 所述级联 特征交互模块数量 为五个。 最后一个级联特征交互模块的输出作为特征交互的点云和图像双分支神经网络模型 的第一个上采样层的输入。 6.如权利要求4所述的一种基于级联特征交互 的点云图像深度补全方法， 其特征在于， 还包括： 将最后一个上采样模块输出的重构图像作为辅助任务， 根据L2损失函数计算重构图像 和输入场景二维 RGB图像的差距， 训练模型 学习图像的结构信息 。权　利　要　求　书 1/2 页 2 CN 115511759 A 27.如权利要求6所述的一种基于级联特征交互 的点云图像深度补全方法， 其特征在于， 所述L2损失函数， 包括： 其中， Di表示预测深度图第i个位置的深度值， 表示ground  truth深度图第i个位置 的深度值。 8.如权利要求7所述的一种基于级联特征交互 的点云图像深度补全方法， 其特征在于， 还包括对特 征交互的点云和图像双分支神经网络模型的训练， 其包括： 将点云和图像数据对作为训练的数据集； 对数据集中的图像进行增强处理， 增强处理包括翻转处理、 裁剪处理、 明亮度调整， 归 一化处理， 转为张量图处 理； 将模型参数进行随机高斯分布初始化； 设置模型训练的损 失函数和重构图像的损 失函数， 将两个损 失函数相加， 并设置各自 的系数， 以最小化损失函数为优化目标， 通过梯度更新策略训练模型， 得到最优 模型参数。 9.如权利要求1所述的一种基于级联特征交互 的点云图像深度补全方法， 其特征在于， 所述通过使用置信度图加权的方式 融合两幅场景深度图， 得到新的一幅场景深度图， 包括： 分别获取云和图像双分支神经网络输出的两张场景深度图对应位置的两个估计深度 值； 计算两张场景深度图对应位置的两个估计深度值的置信度； 分别计算两张场景深度图对应位置的置信度和深度值的乘积， 获得一张待融合图片； 将点云和图像双 分支神经网络分别 输出待融合图片对应位置的深度值相加， 融合至场 景深度图中， 得到新的场景深度图。权　利　要　求　书 2/2 页 3 CN 115511759 A 3