(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210772593.8 (22)申请日 2022.06.30 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 邹航　刘巧俏　张琦　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 孙宝海 (51)Int.Cl. G06T 17/00(2006.01) (54)发明名称 基于二维图像的三维重建方法、 系统、 设备 及存储介质 (57)摘要 本发明提供了基于二维图像的三维重建方 法、 系统、 设备及存储介质， 其中， 方法包括： 采集 二维图像； 根据输入图像进行降维编码， 获得隐 空间张量； 根据隐空间张量进行升维编码， 生成 三个特征平 面， 通过正交排列得到正交三特征平 面； 以及根据拍摄二维图像的二维图像采集设备 的设备参数， 对正交三特征平面进行渲染， 获得 二维图像对应的三维视角信息， 三维视角信息包 括多角度图像和/或三维几何结构。 本发明能够 通过使用对抗生成 网络， 弥补了二维图像到三维 重建过程中的信息空缺， 实现了自二维图像到三 维重建的可行性， 拓展了二维图像的使用场景和 功能性。 权利要求书2页 说明书13页 附图10页 CN 115018994 A 2022.09.06 CN 115018994 A 1.一种基于二维图像的三维重建方法， 其特 征在于， 包括以下步骤： 采集二维图像； 根据输入图像进行降维编码， 获得隐空间 张量； 根据所述 隐空间张量进行升维编码， 生成三个特征平面， 通过正交排列得到正交三特 征平面； 以及 根据拍摄所述二维图像的二维图像采集设备的设备参数， 对所述正交三特征平面进行 渲染， 获得所述二 维图像对应的三 维视角信息， 所述三 维视角信息包括多角度图像和/或三 维几何结构。 2.如权利要求1所述的基于二维图像的三维重建方法， 其特征在于， 所述采集二维图 像， 包括： 通过一二维图像采集设备拍摄一 二维图像； 采集所述 二维图像信息和二维图像采集设备的相机参数。 3.如权利要求1所述的基于二维图像的三维重建方法， 其特征在于， 所述根据 所述输入 图像进行降维编码， 获得隐空间 张量， 包括： 将所述输入图像输入一编码器； 通过所述编码器对所述输入图像进行降维编码； 所述编码器输出对应所述输入图像的经 过编码的隐空间 张量。 4.如权利要求1所述的基于二维图像的三维重建方法， 其特征在于， 所述根据 所述隐空 间张量进行升维编码， 生成三个特 征平面， 通过正交排列得到正交三特 征平面， 包括： 将所述隐空间 张量输入一 生成器 通过所述生成器对所述隐空间 张量进行升维处 理； 所述生成器输出三个特 征平面； 通过正交排列得到正交三特 征平面， 所述特 征平面相互正交。 5.如权利要求1所述的基于二维图像的三维重建方法， 其特征在于， 所述根据拍摄所述 二维图像的二维 图像采集设备 的相机参数， 对所述正交三特征平面进行渲染， 获得所述二 维图像对应的三维视角信息， 包括： 将三个所述特 征平面输入神经渲染模块进行解码得到隐空间 张量； 根据拍摄所述二维图像的二维图像采集设备的相机参数， 对所述隐空间张量进行渲染 获得所述二维 图像对应的三维视角 信息， 所述三维视角 信息包括多角度图像和/或三维几 何结构。 6.如权利要求5所述的基于二维图像的三维重建方法， 其特征在于， 所述根据拍摄所述 二维图像的二维 图像采集设备 的相机参数， 对所述正交三特征平面进行渲染， 获得所述二 维图像对应的三维视角信息， 还 包括： 所述神经渲染模块包括解码器和渲染器， 解码器由多层感知器MLP组成， 用于对输入的 三特征平面进行解码得到隐空间张量， 渲染器由全连接层组成， 将所述隐空间张量渲染成 三维视角信息并输出。 7.如权利要求1所述的基于二维图像的三维重建方法， 其特 征在于， 还 包括： 将所述多角度图像进行鉴别获得损 失值， 根据所述损 失值获得梯度， 根据所述梯度进 行参数更新。权　利　要　求　书 1/2 页 2 CN 115018994 A 28.如权利要求7所述的基于二维图像的三维重建方法， 其特征在于， 所述将所述多角度 图像进行鉴别获得损失值， 根据所述损失值获得梯度， 根据所述梯度进行参数 更新， 包括： 通过鉴别器将所述多角度图像进行图像鉴别， 获得重建过程的损 失值， 所述鉴别器与 用于生成所述特征平 面的生成器共同形成抗网络结构， 所述编码 器和鉴别器均为VGG ‑16网 络结构组成； 根据所述损失值获得梯度； 根据所述梯度进行对抗网络的参数 更新。 9.如权利要求1所述的基于二维图像的三维重建方法， 其特 征在于， 还 包括： 所述二维图像为人脸图像， 通过所述二维图像与 预设人脸图像的第 一相似度和所述三 维视角信息与预设三维视角信息的第二相似度进行用户鉴权 。 10.一种基于二维图像的三维重建方法， 其特 征在于， 包括： 图像采集模块， 采集 二维图像； 隐空间张量模块， 根据所述输入图像进行降维编码， 获得隐空间 张量； 正交平面模块， 根据 所述隐空间张量进行升维编码， 生成三个特征平面， 通过正交排列 得到正交三特 征平面； 三维信息模块， 根据拍摄所述二维图像的二维图像采集设备的设备参数， 对所述正交 三特征平面进行渲染， 获得所述二维 图像对应的三维视角 信息， 所述三维视角信息包括多 角度图像和/或三维几何结构。 11.一种基于二维图像的三维重建 设备， 其特 征在于， 包括： 处理器； 存储器， 其中存 储有所述处 理器的可 执行指令； 其中， 所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任意一项所 述基于二维图像的三维重建方法的步骤。 12.一种计算机可读存储介质， 用于存储程序， 其特征在于， 所述程序被处理器执行时 实现权利要求1至9中任意 一项所述基于二维图像的三维重建方法的步骤。权　利　要　求　书 2/2 页 3 CN 115018994 A 3