(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210062375.5 (22)申请日 2022.01.19 (71)申请人 美的集团 （上海） 有限公司 地址 201700 上海市青浦区双联路158号1 幢11层B区1152室 申请人 美的集团股份有限公司 (72)发明人 车正平　汪浩文　徐志远　奉飞飞　 唐剑　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 郑朝然 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 图像处理方法及装置 (57)摘要 本发明涉及图像处理技术领域， 提供一种图 像处理方法及装置， 该方法包括： 对初始RGB图像 进行语义分割得到语义特征图； 基于语义特征图 中包括的前景概率及语义特征对与初始RGB图像 对应的初始深度图像进行深度特征提取， 得到深 度特征向量， 深度特征向量用于确定局部置信图 及局部深度图； 将深度特征向量和初始RGB图像 进行特征融合， 获得融合置信图和融合深度图； 基于局部置信图、 局部深度图、 融合置信图以及 融合深度图， 得到目标深度图。 该方法通过提取 初始RGB图像的语义信息， 引导准确刻画图像局 部深度信息， 同时优化全局深度图信息， 提高目 标深度图的深度信息的稠 密度和准确性， 为后续 计算机视觉任务的提供保障。 权利要求书3页 说明书18页 附图5页 CN 114511778 A 2022.05.17 CN 114511778 A 1.一种图像处 理方法， 其特 征在于， 所述方法还 包括： 对初始RGB图像进行语义分割得到语义特 征图； 基于所述语义特征图中包括的前景概率及语义特征对与所述初始RGB图像对应的初始 深度图像进行深度特征提取， 得到深度特征向量， 所述深度特征向量用于确定局部置信图 及局部深度图； 将所述深度特征向量和所述初始RGB图像进行特征融合， 获得融合置信图和融合深度 图； 基于所述局部置信图、 所述局部深度图、 所述融合置信图以及所述融合深度图， 得到目 标深度图。 2.根据权利要求1所述的图像处理方法， 其特征在于， 所述对初始RGB图像进行语义分 割得到语义特 征图， 包括： 将所述初始RGB图像输入至深度补齐模型的局部指导模块进行语义分割， 获得所述局 部指导模块输出的所述语义特 征图； 所述基于所述语义特征图中包括的前景概率及语义特征对与所述初始RGB图像对应的 初始深度图像进行深度特 征提取， 得到深度特 征向量， 包括： 将所述语义特征图和所述初始深度图像输入至所述深度补齐模型的约束网络进行深 度特征提取， 得到所述深度特 征向量； 所述将所述深度特征向量和所述初始RGB图像进行特征融合， 获得融合置信图和融合 深度图， 包括： 将所述初始RGB图像和所述深度特征向量输入至所述深度补齐模型的对抗生成网络， 获得所述对抗 生成网络 输出的所述融合深度图和所述融合置信图； 所述基于所述局部置信图、 所述局部深度图、 所述融合置信图以及所述融合深度图， 得 到目标深度图， 包括： 将所述局部深度图、 所述局部置信图、 所述融合深度图和所述融合置信图输入至所述 深度补齐模型的输出网络， 获得 所述输出网络 输出的所述目标深度图； 其中， 所述深度补齐模型为基于样本训练集训练得到 。 3.根据权利要求2所述的图像处理方法， 其特征在于， 所述将所述初始RGB图像和所述 深度特征向量输入至所述深度补齐模型的对抗生成网络， 获得所述对抗生成网络输出的所 述融合深度图和所述融合置信图， 包括： 将所述深度特征向量和所述初始RGB图像输入至所述对抗生成网络的生成器， 由所述 生成器基于所述深度特征向量重建所述初始RGB图像的深度信息， 获得所述生成器输出 的 所述融合深度图和所述融合置信图； 所述生成器是基于样本RGB图像和样本密集深度图， 联合所述对抗生成网络的判别器 进行对抗训练得到 。 4.根据权利要求2所述的图像处理方法， 其特征在于， 所述将所述语义特征图和所述初 始深度图像输入至所述深度补齐模型的约束网络进行深度特征提取， 得到所述深度特征向 量， 包括： 将所述语义特征图和所述初始深度图像输入至所述约束网络的编码器进行下采样处 理， 得到第一深度特 征向量；权　利　要　求　书 1/3 页 2 CN 114511778 A 2将所述第一深度 特征向量输入至所述约束网络的解码器进行上采样处理， 得到第 二深 度特征向量。 5.根据权利要求4所述的图像处理方法， 其特征在于， 所述将所述初始RGB图像和所述 深度特征向量输入至所述深度补齐模型的对抗生成网络， 获得所述对抗生成网络输出的所 述融合深度图和所述融合置信图， 包括： 将所述初始RGB图像输入至所述对抗 生成网络进行 下采样处 理， 得到第一特 征向量； 通过所述深度补齐模型的实例归一化模块对所述第一特征向量和第一深度特征向量 进行特征融合， 得到目标融合特 征向量； 对所述目标融合特 征向量进行 上采样处 理， 得到第二特 征向量； 通过所述实例归一化模块对所述第 二特征向量和第 二深度特征向量进行特征融合， 获 得所述对抗 生成网络 输出的所述融合深度图和所述融合置信图。 6.根据权利要求2所述的图像处理方法， 其特征在于， 所述所述局部深度图和所述局部 置信图通过如下步骤确定： 通过跳转连接的方式将所述约束网络的编码器中的所述深度特征向量输入至所述约 束网络的解码器中的对称位置， 得到所述解码器输出的所述局部深度图和所述局部置信 图。 7.根据权利要求1 ‑6任一项所述的图像处理方法， 其特征在于， 所述基于所述局部置信 图、 所述局部深度图、 所述融合置信图以及所述融合深度图， 得到目标深度图， 包括： 基于所述局部深度图、 所述局部置信图、 所述融合深度图和所述融合置信图， 获得局部 注意力权 重和融合注意力权 重； 基于所述局部注意力权重和所述融合注意力权重对所述局部深度图和所述融合深度 图进行加权处 理， 得到所述目标深度图。 8.根据权利要求2 ‑6任一项所述的图像处理方法， 其特征在于， 所述样本训练集包括多 个样本RGB图像及其对应的拟真深度图像； 所述拟真深度图像通过如下步骤确定： 基于所述样本RGB图像对应样本深度图像进行高光区域掩 模， 得到第一拟真深度图； 基于所述样本深度图像进行目标像素区域掩 模， 得到第二拟真深度图； 基于所述样本深度图像进行噪声点掩 模， 得到第三拟真深度图； 基于所述样本深度图像进行语义标签随机掩 模， 得到第四拟真深度图； 基于所述样本训练集中所有样本深度图像进行语义分割训练， 确定掩模矩阵， 得到第 五拟真深度图； 基于所述样本深度图像和所述第 一至第五拟真深度图中的至少一个的深度信 息， 确定 所述拟真深度图像。 9.根据权利要求2 ‑6任一项所述的图像处理方法， 其特征在于， 所述深度补齐模型训练 的目标损失函数基于如下步骤确定： 获取所述对抗 生成网络的生成器的第一损失函数以及判别器的第二损失函数； 基于所述局部深度图和所述目标深度图， 得到第三损失函数和第四损失函数； 基于所述第 一损失函数、 所述第 二损失函数、 所述第 三损失函数和所述第四损失函数， 得到所述目标损失函数。权　利　要　求　书 2/3 页 3 CN 114511778 A 3