(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211336532.3 (22)申请日 2022.10.28 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 杨少雄　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张润 (51)Int.Cl. G06T 17/00(2006.01) G06T 19/20(2011.01) (54)发明名称 图像处理方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提出了图像处理方法、 装置、 电子设 备及存储介质， 涉及人工智能技术领域， 具体涉 及增强现实、 虚拟现实、 计算机视觉、 深度学习等 技术领域， 可应用于元宇宙、 虚拟数字人等场景。 方案为： 对待处理图像中的目标对象进行三维重 建， 以得到各目标对象对应的三维网格模型以及 对应的世界坐标系与图像坐标系之间的映射关 系； 根据各三维网格模型中各顶 点以及对应的映 射关系， 确定各目标对象中各目标部位对应的轮 廓目标关键点； 根据轮廓目标关键点， 对待处理 图像进行处理， 由此， 获取轮廓目标关键点时无 需依赖大量轮廓关键点数据集， 降低了轮廓关键 点数据集的采集和标注成本， 同时提高了轮廓目 标关键点的准确性， 进而， 提升了图像处理质量 和精细度。 权利要求书4页 说明书14页 附图10页 CN 115409951 A 2022.11.29 CN 115409951 A 1.一种图像处 理方法， 包括： 获取待处 理图像， 从所述待处 理图像中提取至少一个对象区域； 根据所述至少一个对象区域， 对与 所述至少一个对象区域对应的目标对象进行三维重 建， 以得到各目标对象对应的三 维网格模型以及各三 维网格模型所在的世界坐标系与对应 的对象区域所在的图像坐标系之间的映射关系； 根据所述各三维网格模型中的各顶点以及对应的映射关系， 确定所述各目标对象中各 目标部位对应的轮廓目标关键点； 根据所述各目标对象中各目标部位对应的轮廓目标关键点， 对所述待处理图像中各目 标对象进行处 理， 以得到目标图像。 2.根据权利要求1所述的方法， 其中， 所述根据所述各三维网格模型中的各顶点以及对 应的映射关系， 确定所述各目标对象中各目标部位对应的轮廓目标关键点， 包括： 根据所述各三维网格模型对应的映射关系， 对所述各三维网格模型中的各顶点进行映 射， 以得到所述各三维网格模型中的各顶点对应的二维坐标点； 根据所述各三维网格模型中的各顶点对应的二维坐标点， 确定所述各目标对象中各目 标部位对应的轮廓目标关键点。 3.根据权利要求2所述的方法， 其中， 所述根据所述各三维网格模型中的各顶点对应的 二维坐标点， 确定所述各目标对象中各目标部位对应的轮廓目标关键点， 包括： 根据设定的轮廓关键点标识， 从所述各三维网格模型中的各顶点对应的二维坐标点 中， 确定所述各目标对象中各目标部位的轮廓候选关键点； 根据所述各目标对象中各目标部位的轮廓 候选关键点的坐标位置， 从所述各目标对象 中各目标部位的轮廓候选关键点中， 确定所述各目标对象中各目标部位对应的轮廓目标关 键点。 4.根据权利要求3所述的方法， 其中， 所述根据所述各目标对象中各目标部位的轮廓 候 选关键点的坐标位置， 从所述各目标对 象中各目标部位的轮廓候选关键点中， 确定所述各 目标对象中各目标部位对应的轮廓目标关键点， 包括： 根据所述各目标对象中各目标部位的轮廓 候选关键点的坐标位置， 确定所述各目标对 象中各目标部位的任意两个 轮廓候选关键点之间的距离； 根据所述各目标对象中各目标部位的任意两个轮廓 候选关键点之间的距离， 从所述各 目标对象中各目标部位的轮廓候选关键点中确定所述各目标对 象中各目标部位对应的轮 廓目标关键点。 5.根据权利要求 4所述的方法， 其中， 所述方法还 包括： 根据所述各目标对象中各目标部位的轮廓 候选关键点的坐标位置， 确定所述各目标对 象中各目标部位的轮廓中心关键点； 确定所述各目标对象中各目标部位对应的轮廓目标关键点和轮廓中心关键点之间的 方向向量； 根据所述各目标对象中各目标部位对应的轮廓目标关键点和轮廓中心关键点之间的 方向向量， 确定所述各目标对象中各目标部位的轮廓目标关键点对应的轮廓标签。 6.根据权利要求1所述的方法， 其中， 所述根据所述至少一个对象区域， 对与所述至少 一个对象区域对应的目标对象进 行三维重建， 以得到各目标对象对应的三维网格模型以及权　利　要　求　书 1/4 页 2 CN 115409951 A 2各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之 间的映射关系， 包括： 根据所述待处理图像中的至少一个对象区域， 确定与 所述至少一个对象区域对应的目 标对象的目标参数信息； 根据所述至少一个目标对象中各目标对象的目标参数信 息， 生成所述各目标对象的三 维网格模型； 根据所述各目标对象的三维网格模型中的各顶点的坐标位置以及所述各顶点对应的 在对象区域中二 维坐标点的坐标位置， 确定各三 维网格模型所在的世界坐标系与对应的对 象区域所在的图像坐标系之间的映射关系。 7.根据权利要求6所述的方法， 其中， 所述目标参数信 息包括对应目标对象的体型信 息 和姿态信息， 所述根据所述至少一个目标对 象中各目标对 象的目标参数信息， 生成所述各 目标对象的三维网格模型， 包括： 将所述各目标对象的体型信息和姿态信息， 输入至三维网格创建模型中， 所述三维网 格创建模型根据所述各目标对象的体型信息和姿态信息进 行三维网格模型创建， 以得到所 述各目标对象的三维网格模型。 8.根据权利要求1所述的方法， 其中， 所述获取待处理图像， 从所述待处理图像中提取 至少一个对象区域， 包括： 获取摄像头采集的待处 理图像； 对所述待处 理图像进行对象检测， 以得到 至少一个对象检测框的位置； 根据所述至少一个对象检测框的位置， 对所述待处理图像进行对象区域提取， 以得到 所述至少一个对象区域。 9.根据权利要求1 ‑8中任一项所述的方法， 其中， 所述根据 所述各目标对象中各目标部 位对应的轮廓目标关键点， 对所述待处理图像中各目标对象进 行处理， 以得到目标图像， 包 括： 获取所述各目标对象中各目标部位的设定的缩放比例； 基于所述各目标对象中各目标部位对应的轮廓目标关键点和缩放比例， 对所述待处理 图像中各目标对象进行缩放处 理， 以得到目标图像。 10.一种图像处 理装置， 包括： 获取模块， 用于获取待处 理图像， 从所述待处 理图像中提取至少一个对象区域； 重建模块， 用于根据所述至少一个对象区域， 对与所述至少一个对象区域对应的目标 对象进行三 维重建， 以得到各目标对象对应的三 维网格模型以及各三维网格模型所在的世 界坐标系与对应的对象区域所在的图像坐标系之间的映射关系； 第一确定模块， 用于根据所述各三维网格模型中的各顶点以及对应的映射关系， 确定 所述各目标对象中各目标部位对应的轮廓目标关键点； 处理模块， 用于根据所述各目标对象中各目标部位对应的轮廓目标关键点， 对所述待 处理图像中各目标对象进行处 理， 以得到目标图像。 11.根据权利要求10所述的装置， 其中， 所述第一确定模块， 用于： 根据所述各三维网格模型对应的映射关系， 对所述各三维网格模型中的各顶点进行映 射， 以得到所述各三维网格模型中的各顶点对应的二维坐标点；权　利　要　求　书 2/4 页 3 CN 115409951 A 3